파이썬 python 영어 자연어 처리 NLP ( 정제 cleaning 및 정규화 nomalization 로 빅데이터 분석 마스터 )

파이썬(python), 영어 자연어(NLP)를 위해 정제(cleaning)와 정규화(nomalizatio) 방법을 습득해 오탈자 교정, 표제어 추출, 단수화와 복수화 등을 수행해 보자... 텍스를 분석하기 위해서는 단어나 문장을 기준으로 나누는 토큰화(tokenization) 작업을 해야 한다. 그리고 토큰화 작업 전과 후에 텍스트를 정확히 분석하려면 반드시 정제(cleaning)와 정규화(nomalization) 작업을 거쳐야 한다. 정제(cleaning)은 분석에 망해가 되는 특수 문자나 숫자 등을 제거하는 작업이고, 정규화(nomalization)은 같은 의미지만 다르게 표현된 단어들을 표준화시켜주는 작업이다. 1. 영어 정제(cleaning) 정규 표현식(normal expression) 사용 웹에서 텍스트를 크롤링 해 왔다면, HTML과 XML 태그, 이메일 주소 등에 포함된 특수 기호들을 제거하는 등 우선 정제(cleaing) 작업을 먼저 해줘야 한다. 이러한 작업은 토큰...

원문링크 : 파이썬 python 영어 자연어 처리 NLP ( 정제 cleaning 및 정규화 nomalization 로 빅데이터 분석 마스터 )