[NLP] 통계 기반 기법, 동시 발생 행렬


[NLP] 통계 기반 기법, 동시 발생 행렬

자연어처리의 방법 중 하나인 통계 정보로부터 단어를 표현하는 통계 기반 기법 통계 기반 기법에는 corpus가 사용이 된다. corpus는 대량의 텍스트 데이터를 의미한다. 통계 기반 기법 분포 가설 단어의 의미를 정확하게 파악할 수 있는 벡터 표현을 NLP에서는 단어의 분산 표현(distributed representation)이라고 한다. 단어의 분산 표현은 단어를 고정 길이의 밀집 벡터(dense vector)로 표현한다. 밀집벡터는 대부분의 원소가 0이 아닌 실수인 벡터를 말한다. NLP에서 단어를 벡터로 표현하는 기법 중에서 가장 중요한 아이디어는 '단어의 의미는 주변 단어에 의해 형성된다'라는 것이다. 이를 분포 가설(distributed hypothesis)..........

[NLP] 통계 기반 기법, 동시 발생 행렬에 대한 요약내용입니다.

자세한 내용은 아래에 원문링크를 확인해주시기 바랍니다.



원문링크 : [NLP] 통계 기반 기법, 동시 발생 행렬