빅데이터 분석 기사 필기 요약 2. 탐색

1) 데이터 전처리 구분 주요 내용 데이터 전처리 데이터 정제 (삭제, 대체, 예측 값 삽입으로 대응) : 결측값 처리 -> 이상 값 처리 -> 분석 변수 처리 실제 분석 과정의 70~80%를 수집 및 데이터 전처리 과정에 사용 데이터 오류 발생 원인 결측 값 (누락된 값) 노이즈 (잘못 판단된 값) 이상 값 (범위에서 많이 벗어난 값) 필수적인 데이터를 미입력하는 경우 예) NA, NaN, NULL, inf,999 입력되지 않았는데 입력 되었다고 판단됨 범위에서 많이 벗어난 아주 큰/작은 값 데이터 세분화 대용량 데이터를 처리하거나, 데이터의 시각화 및 분석을 용이하게 하기 위해 사용 1.시간별 : 시간대별로 데이터를 분할하여 분석, 관리, 검색 등 2.지리적 : 지리 정보를 이용하여 데이터를 분할하는 방법 3.기능별 : 데이터의 목적과 기능 별로 나누어 분석하는 방법 4.액션별 : 데이터를 특정 액션 또는 이벤트 단위로 나누는 방법 (추천 구매의 거래 추적) 5.프로세스별 : 비...

원문링크 : 빅데이터 분석 기사 필기 요약 2. 탐색