패스트텍스트(FastText)

오타나 철자가 빠진 단어를 검색할때 어떻게 해야하는지 찾아보다가 패스트텍스트에 대해서 정리 전처리해주는 부분이 굉장히 오래걸려서 한번 해놓고, 파일로 저장한 뒤 사용하는게 좋다 출처 : https://wikidocs.net/book/2155 핵심키워드 OOV(Out Of Vocabulary) FastText 패스트텍스트(FastText) 단어를 벡터로 만드는 또 다른 방법으로는 페이스북에서 개발한 패스트텍스트(FastText)가 있다. Word2Vec 이 후에 나온 것이기 때문에, 메커니즘 자체는 Word2Vec의 확장이라고 볼 수 있다. Word2Vec와 패스트텍스트와의 가장 큰 차이점은 Word2Vec은 단어를 쪼개질 수 없는 단위로 생각한다면, 패스트텍스트는 하나의 단어 안에도 여러 단어들이 존재하는 것으로 간주한다. 즉 내부 단어(subword)를 고려하여 학습한다. 1. 모르는 단어(Out Of Vocabulary, OOV)에 대한 대응 패스트텍스트에서는 우선 각 단어는 글...

원문링크 : 패스트텍스트(FastText)