MapReduce 시작하기

MapReduce 개념 MapReduce 프로그래밍 모델은 Map과 Reduce 두 단계로 데이터를 처리합니다. Map은 입력 파일을 한 줄씩 읽어서 데이터를 변형(transformation)하고, Reduce는 Map의 결과 데이터를 집계(aggregation)합니다. MapReduce 처리 과정 Map(k1, v1) -> list(k2, v2) Reduce(k2, list(v2)) -> (k3, list(v3)) Map은 key(k1)와 value(v1)으로 구성된 데이터를 입력받아 이를 가공하고 분류한 후, 새로운 key(k2)와 value(v2)으로 구성된 목목을 출력합니다. 이 Map 메서드가 반복 수행되므로 여러개의 데이터가 만들어집니다. Reduce는 새로운 key(k2)로 그룹핑된 값의 list(v2)을 일겨 데이터로 전달 받습니다. 그리고 값의 목록(list(v2))에 대한 집계 연산을 실행해 새로운 key(k3)로 그룹핑된 새로운 value(v3)의 목록을 생성합니...

원문링크 : MapReduce 시작하기