[빅분기 1과목] 데이터 적재, 데이터 웨어하우스, 데이터 마트, 데이터 레이크

데이터 적재 데이터를 수집한 후에는 빅데이터 시스템에 적재해야한다. RDBMS, HDFS, NoSQL 저장 시스템에 데이터를 적재할 수 있다. 데이터 적재 도구 - 플루언티드(Fluentd) 오픈 소스 데이터 수집 소프트웨어 - 플럼(Flume) : 많은 양의 로그데이터 효율적으로 수집, 이벤트와 에이전트를 활용하는 분산형 로그 수집 기술 - 스크라이브(Scribe) 다수의 서버로 부터 실시간으로 스트리밍 되는 로그 데이터를 수집하는 대용량 실시간 로그 수집 기술 - 로그 스태시(Logstash) 모든 로그 정보를 수집하여 하나의 저장소에 출력해주는 시스템 * stash : 넣어두다, 숨기다 ex) She has a fortune stashed awasy in various bank accounts. +) DW, D..........

원문링크 : [빅분기 1과목] 데이터 적재, 데이터 웨어하우스, 데이터 마트, 데이터 레이크