NLP 텍스트 전처리 Text Preprocessing

자연어 처리 기초 4단계 포스팅에 이어, 이번 포스팅에서는 텍스트 전처리 Text Preprocessing에 대해 공부하려고 합니다. 자연어 처리 4단계에 대한 포스팅은 아래를 참고해주시길 바랍니다. NLP 자연어 처리 기초 4단계와 기계학습 학회 활동으로 자연어 처리 관련 스터디를 하게 되어, NLP 관련 포스팅을 기초부터 포스팅하며 공부하려... blog.naver.com 텍스트 전처리 Text Preprocessing 자연어 처리 기법이 잘 적용될 수 있도록, 용도에 맞게 텍스트를 사전에 처리하는 과정 텍스트 전처리 과정은 크게 세 가지로 나눌 수 있다. 1. 텍스트를 토큰으로 나누기 가. 토큰화 (Tokenization) 1) Sentence Tokenization 2) Word Tokenization 3) POS(Part of Speech) Tagging 나. 정제 및 정규화 (Cleaning & Normalization) 1) 정제 및 정규화 기법 3가지 2. 불필요한 토...

원문링크 : NLP 텍스트 전처리 Text Preprocessing