[경영빅데이터분석사2급] 5과목 빅데이터기술 - 수집, 저장, 처리기술, 주요분석도구

1. 수집 ㅇ 개념 - 여러 데이터 소스로부터 필요한 데이터를 검색하여 수동 또는 자동으로 수집, 검색/수집/변환을 통해 정제된 데이터를 확보하는 기술까지 포함, 조직 외부의 무한한 데이터 중 필요로 하는 데이터를 찾아내는 것이 중요, 데이터를 저장하고 분석하기 위해 데이터를 변환하거나 통합하는 작업도 중요, 작은 데이터라도 모두 저장하고 실시간으로 저렴하게 데이터를 처리해야 한다. ㅇ 데이터 소스 유형 - 정형 데이터 : 로그 데이터, 시계열데이터 - 비정형 데이터 : 소셜 미디어, 오디오, 비디오, 자유형식 텍스트 - 센서데이터는 비정형데이터로 온도, QR코드 등이 있다. ㅇ 데이터 수집 기술 - 정형 : ETL, FTP, API, ODBC - 비정형 : 크롤링, RSS, API, FTP, Parsi..

원문링크 : [경영빅데이터분석사2급] 5과목 빅데이터기술 - 수집, 저장, 처리기술, 주요분석도구