데이터 분석과정 전처리 모델링 해석

본 포스팅은 학회 활동을 위해 데이터 전처리 과정 공부 내용을 정리한 내용입니다. 데이터 전처리 Data preprocessing 특정 분석에 적합하게 데이터를 가공하는 작업을 의미한다. 업무활동이나 현업에서 발생하는 데이터는 분석,머신러닝(딥러닝)에 적합하지 않은 경우가 많다. 의미 없는 값이 포함되어 있거나, NA값이 존재하거나, 변수가 많은 경우 데이터의 품질을 떨어뜨린다. 이를 방지하기 위한 작업이 "데이터 전처리"이다. 실제 현업에서의 데이터는 러프한 경우가 많다고 한다. "데이터 과학의 80%는 데이터 클리닝에 소비되고, 나머지 20%는 데이터 클리닝하는 시간을 불평하는데 쓰인다." Kaggle 창립자 Anthony Goldbloom 데이터 분석 과정 1. 문제 정의 2. 데이터 수집 3. 데이터 탐색 및 전처리 4. 모델링 5. 해석 및 시각화 6. 피드백 1. 문제 정의 데이터 분석 과정에서 가장 중요한 단계이자, 어려운 단계이다. 문제가 제대로 설정되지 않으면 "문제...

원문링크 : 데이터 분석과정 전처리 모델링 해석