Lecture 2 | Word Vector Representations: word2vec

Context. 이산적(discrete)으로 표현된 문장은 뉘앙스가 없어서 본래의 의미와 조금 다르게 해석될 수 있다. -One-hot vector 벡터에 0이 있는 것. -One-hot Vector의 문제점 만약 motel이 [ 0 0 0 0 0 0 0 0 1]이고 hotel이 [0 1 0 0 0 0 0 0 0] 이라면 두 단어는 유사함에도 불구하고 내적 했을때 값이 0이된다. 분배 유사성을 이용해야한다. 즉, 어떤 context의 맥락을 예측하고 싶다면 그 단어가 나타났을 때 그 의미를 이해하면 된다. 그 단어들은 각각 양 옆에 단어가 있을 것이다. 그 유사성을 측정하기 위해서 두 벡터 사이의 내적을 계산할 것이다. 단어를 Vector로 바꿔보자. Word2vec Wt는 초점단어. W – t 는 컨텍스트 안에 있는 모든 단어가 포함됨. -Loss function = cost function = Objective function: 현재 중심 단어에서 어떤 문맥의 확률을 최대화한다....

원문링크 : Lecture 2 | Word Vector Representations: word2vec