MapReduce WordCount 예제


MapReduce WordCount 예제

개발 환경 OS: Windows10 Mapper 구현 클래스는 키가 라인 번호이고 값이 문장인 입력 파라미터를 받아 키가 글자이고, 값이 글자 수인 목록을 출력합니다. WordCount Mapper 역할 1. 입력 파라미터의 값인 문장을 공백 단위로 구분해 글자 수를 계산합니다. 2. 구분된 글자는 즉시 출력 파라미터에 추가합니다. 이때 글자는 하나이므로 글자 수를 1로 설정합니다. 매퍼 클래스는 다음과 같은 제네릭 파라미터를 선언합니다. 제네릭 파라미터는 <입력 키 타입, 입력 값 타입, 출력 키 타입, 출력 값 타입> 입니다. Mapper<LongWritable, Text, Text, IntWritable> 입력 데이터를 분석하기 위해서 매퍼 클래스의 맵 메서드를 재정의 합니다. 제네릭 파라미터는 <입력 키 타입, 입력 값 타입, Context 객체> 입니다. public void map(LongWritable key, Text value, Context context) 입력/출...


#hadoop #mapreduce #wordcount #맵리듀스 #하둡

원문링크 : MapReduce WordCount 예제