Lecture 6 – Language Models and RNNs

목차 강의내용 language model이란 어떤 단어가 x(t+1)로 올지 예측하는 것. n-gram model n-gram model이란 확률을 추정할때, 전체 단어가 아닌 일부 단어 조합의 출현 빈도만을 계산하는 것. 예제 -> 예측하고자 하는 단어 앞의 세 단어를 제외하고 버린다. -> 하지만 이게 좋은 방식일까? ->확률 추정치를 제대로 구하기는 힘들다 왜냐하면 수 많은 문장을 수집해도 출현 가능한 단어의 조합의 경우의 수는 훨씬 더 클 것이기 때문이다. 단어들의 조합이 조금만 길어져도 코퍼스에서 출현 빈도를 구할 수 없어 분자가 0이 되면서 확률이 0이 되거나, 심지어 분모가 0이 되어 정의 자체가 불가능할 수 있다. ->n을 증가시키는 것이 이러한 희소성 문제를 더 악화시킨다. -> 희소성 문제인데, count가 적어서 발생한다. ->단점은 입력을 처리할 수 있는 신경 구조가 필요하다는 것. ->동일한 가중치W가 적용되지 않는다. ->왼쪽에서 오른쪽으로 가는 것을 tim...

원문링크 : Lecture 6 – Language Models and RNNs