Yarn (Yet Another Resource Negotiator)

Yarn - HDFS 계층과 MR 계층 중간에 YARN 을 구성해 리소스(자원)관리 수행 (MapReduce - YARN - HDFS) - MapReduce이외의 데이터 처리 모듈이 하위의 HDFS를 공유할 수 있음 즉, 여러 Data Processing 지원 - 자원을 다양한 응용 프로그램에 효율적으로 할당하고 사용자 응용 프로그램을 효율적으로 스케줄링 함 - 애플리케이션마스터 (AM-Application Master)가 애플리케이션 별로 리소스를 관리함 작업을 관리 - 잡트래커 하나가 전체 시스템을 관리하는 형태에서 애프리케이션 별로 관리함 - 잡트래커+태스트트래커 -> 리소스매니저+노드매니저 - 시스템 리소스 관리와 잡 관리를 분리 - 클러스터의 자원을 컨테이너(Container)로 분할 - 컨테이너는 할당되는 CPU 코어 수와 메모리 용량으로 정의됨 - 실행 중인 컨테이너들을 모니터링 함 - 컨테이너가 자원(CPU, 메모리, 디스크, 네트워크 등)의 최대 할당량을 초과하지 않...

원문링크 : Yarn (Yet Another Resource Negotiator)