Hadoop - YARN

Question 1

Qual o significado da sigla YARN?

Answer 1

Yet Another Resource Negotiator

Question 2

O que é o YARN?

Answer 2

é um componente essencial do Hadoop que gerencia recursos e agendamento de tarefas em um cluster. Funciona como um sistema operacional para o cluster, alocando recursos como CPU e memória para as várias aplicações distribuídas.

Question 3

Quais são os dois componentes principais do YARN (subsistemas)?

Answer 3

ResourceManager e o NodeManager

Question 4

O que é o ResourceManager?

Answer 4

o ResourceManager gerencia os recursos de todo o cluster a partir de um ponto central, o que inclui receber informações dos NodeManagers e alocar recursos para as aplicações conforme necessário. O ResourceManager atua como o “cérebro” do YARN, enquanto o NodeManager executa as tarefas atribuídas a cada nó.

Question 5

Quais são os subsistemas do ResourceManager?

Answer 5

Scheduler e o ApplicationMaster

Question 6

Qual é a função do Scheduler?

Answer 6

Este é o agendador de recursos que aloca recursos para várias aplicações no cluster. Ele não monitora ou rastreia o status das tarefas, apenas aloca os recursos com base em políticas de planejamento, como capacidade, prioridade e limites de recursos.

Question 7

Qual a função do ApplicationMaster

Answer 7

Para cada aplicação submetida ao cluster, há um ApplicationMaster associado (que monitora tarefas). Ele é responsável por negociar recursos com o Scheduler e monitorar o uso desses recursos durante a execução da aplicação. O ApplicationMaster também lida com falhas de tarefas, solicita novas tentativas e pode pedir mais recursos conforme necessário.

Question 8

Quais são os 3 subsistemas dentro do NodeManager?

Answer 8

Container, NodeStatusUpdater,
ContainerManager

Question 9

Qual é a função do Conteiner dentro do NodeManager?

Answer 9

É uma unidade de alocação de recursos no YARN. Cada container recebe uma certa quantidade de recursos (CPU, memória) para executar tarefas específicas. É o ambiente onde as tarefas são executadas. Ele aloca recursos como CPU e memória para rodar processos específicos.

Question 10

Qual é a função do NodeStatusUpdater dentro do NodeManager?

Answer 10

Este componente atualiza o ResourceManager sobre o status do nó, incluindo os recursos disponíveis e as tarefas em execução.

Question 11

Qual é a função do ContainerManager dentro do NodeManager?

Answer 11

Gerencia o ciclo de vida dos containers, desde sua criação até a finalização. Ele também monitora o uso de recursos dentro de cada container.