빅데이터 시스템 개념

빅데이터 시스템 개념 빅데이터 시스템이란 단순히 파일 크기가 크다 파일을 처리한다는 의미가 아니다. 빅데이터 시스템이란 파일의 크기와 그 파일을 처리방식 모두 만족해야 한다. 즉 데이터 저장에 필요한 HDFS 와 같은 분산파일시스템 과 이 데이터를 처리하는 MapReduce 와 같은 분산병렬처리프레임워크 를 가지고 있어야 빅데이터 처리 시스템이라고 할 수 있다. 보통 수십 테라 이상의 크기의 테이터로 일반적인 DBMS로 처리하지 못하며, 서버 한 대로 처리할 수 없는 규모의 데이터를 말한다. 대표적인 시스템으로는 하둡(Hadoop)이 있다. RDBMS와 NoSQL의 비교 및 Bigdata 필요성 보통 일반적인 DBMS는 빠른 읽기에 최적화(R»CUD)되어있어 CUD가 일어나면 인덱스 수정해야 하는 작업이 있다. 이는 데이터가 빈번히 생성/주정/삭제되는 시스템에 적합하지 않다. 반면 NoSQL(Not Only SQL)은 빠른 쓰기에 최적화면 DB이다. 데이터의 사이즈가 수십 테라로 커...

원문링크 : 빅데이터 시스템 개념