파이썬 python 영어 자연어 처리 NLP ( 임베딩 embedding, BOW, DTM, TF-IDF 중심으로 빅데이터 분석 마스터 )

파이썬(python), 영어 자연어 처리 NPL위한 임베딩(embedding)의 가장 기본인 Bag of Wors, DTM, TF-IDF 부터 이해하자... 자연어 처리 NLP를 할 때, 컴퓨터의 기계 학습 모델(machine learning model)이 스스로 텍스트의 의미를 이해하고, 다음 단어나 문장을 예측하고, 단어나 단락의 이면에 있는 정서를 파악하는 등 인간이 텍스트를 이해하는 것과 같은 기능을 수행할 수 있도록 조치를 취해줘야 한다. 이러한 조치를 임베딩(embedding)이라고 한다. 즉, 단어나 문장을 크기와 방향을 가지는 벡터 형태로 표현하는 과정이라고 할 수 있다. 텍스트와 같은 비정형 데이터는 그 자체로는 컴퓨터가 분석할 수가 없다. 그래서 비정형 데이터를 테이블 형태의 매트릭스 데이터인 정형 데이터로 만들어주는 과정이 임베딩이라고 할 수 있다. 단어와 문서에 벡터 형태의 숫자를 부여하게 되면 단어와 문서의 유사성 및 연관성을 파악하는 등 다양한 분석을 수행할...

원문링크 : 파이썬 python 영어 자연어 처리 NLP ( 임베딩 embedding, BOW, DTM, TF-IDF 중심으로 빅데이터 분석 마스터 )