[AI] 데이터전처리란? - 데이터 전처리 케이스, 기법

안녕하세요. SW 개발자 쪼맹 입니다. 오늘도 제가 알고 있는 소박한 지식을 공유 해보고자 합니다. 바로 AI 프로젝트 진행 시 70% ~ 80% 업무 범위를 차지한다고 이야기 하는 그 유명한 데이터 전처리 입니다. 데이터 다루는 업무에서 데이터 전처리는 반드시 거쳐야 하는 과정 입니다. 모델 성능에 큰 영향을 미치기 때문에 결과와 직접적으로 연관이 있으며 분석, 그리고 인사이트와도 연관되어서 중요하게 다뤄지는 과정 입니다. 그렇다면 데이터 전처리는 어떤 것을 의미할까요? 아래 정리해보았습니다. [데이터 전처리 케이스] 1. 데이터 빠진 부분 처리 (결측값) 2. 중복으로 들어간 데이터 처리 3. 특이한, 비정상 데이터가 들어가 있는 경우 처리 4. 그 외 데이터를 정제해서 모델 학습에 적합한 형태로 바꿔주는 단계 = data cleaning 5. 데이터 스케일 조정 (데이터 범위 및 단위가 다른 경우) 6. 데이터 차원을 축소하여 모델 성능 향상 및 데이터 가시화 7. 데이터의 기...