빅데이터 구현 기술

출처 : 실무로 배우는 빅데이터, 빅데이터 개론(한국소프트웨어기술인협회 빅데이터전략연구소) 빅데이터 아키텍처는 역할별로 수집, 적재, 처리 및 탐색, 분석 및 응용이라는 6개의 레이어로 나눌 수 있고 각 단계별 주요 기술은 다음 그림과 같다. - 수집 : Crawling, FTP, Open API RSS, Log Aggregation, DB Aggregation, Streaming 수집처리에는 대용량 파일 수집과 실시간 스트림 수집으로 나눌 수 있으며 실시간 수집의 경우 CEP (Complex Event Processing), ESP(Event Stream Processing) 기술이 적용되어 수집 중인 데이터로부터 이벤트를 감지해 빠른 후속처리를 수행한다. 빅데이터 수집관련 소프트웨어로는 Flume, Fluented, Scribe, Logstash, Chukwa, NiFi, Embulk 등이 있다. - 적재 : Distributed File, No-SQL, Memory Cached...

원문링크 : 빅데이터 구현 기술