[hadoop] yarn의 개념 및 구성 요소(ResourceManager, NodeManager, Application Master) 정리

목차

 

 

yarn이란

YARN은 Hadoop 클러스터의 자원을 효율적으로 관리하고 분배하는 시스템입니다.

클러스터 전체 리소스 사용률을 모니터링하고 자원을 요청하고 할당을 조절하면서 애플리케이션 성능을 최적화합니다.

YARN은 리소스 매니저(ResourceManager)와 노드 매니저(NodeManager)로 구성되어 있습니다.

 

 

yarn과 하둡과의 관계

하둡(Hadoop)은 대용량 데이터를 분산 처리할 수 있는 오픈 소스 프레임워크입니다. 

이때 하둡 클러스터에서 자원을 효율적으로 관리하고 분배하기 위해 사용되는 것이 바로 YARN입니다.

즉, YARN은 하둡의 하위 컴포넌트 중 하나이며 분산 컴퓨팅 애플리케이션을 실행하기 위한 자원 관리 시스템입니다.

 

 

yarn의 구성요소 

1)리소스매니저(Resource Manager)

클러스터 전체 자원 사용량을 관리합니다. (자원 할당과 스케줄링을 담당)

각 어플리케이션에 필요한 자원을 할당합니다. 

 

2)노드 매니저(Node Manager)

각각의 노드에서 컨테이너를 생성하고 실행 및 관리합니다.

즉, 컨테이너의 상태를 모니터링하고, 필요한 경우 컨테이너를 다시 시작합니다.

 

*컨테이너: 어플리케이션의 실행 단위

 

3)애플리케이션 마스터

컨테이너 내에서 태스크를 실행하고 모니터링합니다.

리소스 매니저로부터 자원을 요청하여 할당받고, 노드 매니저에게 컨테이너를 요청하여 어플리케이션의 태스크를 실행합니다.

 

 

yarn이 어플리케이션을 구동하는 방식

1. 어플리케이션을 구동하기 위해 리소스 매니저에 접속하여 애플리케이션 마스터 프로세스의 구동을 요청한다.

2a. 리소스 매니저가 컨테이너를 실행할 수 있는 노드 매니저를 찾는다.

2b. 노드 매니저가 컨테이너를 가동한다.

3. 애플리케이션 마스터가 컨테이너에서 계산한 결과를 클라이언트에게 반환 후 종료하거나 리소스 매니저에게 더 많은 컨테이너를 요청한다.

4a. 추가로 할당 받은 컨테이너를 가동한다.

4b. 할당 받은 컨테이너에서 분산 처리를 수행한다.