Hadoop - Map Reduce Flashcards
O que o Map Reduce?
O map reduce é uma ação otimizadora que atua no nó do cluster que facilita o retorno de dados para funções de agregações (soma, contagem e etc).
Como funciona a etapa de map (exemplo de contagem)
Supondo a atuação dos dados em um nó do cluster de 128mb, se trata do mapeamento das ocorrencias desejadas pelo count.
O que ocorre na etapa de shuffe and sort (exemplo de contagem)?
Ocorre a ordenação do mapeamento. Agrupando as ocorrencias por elemento de contagem.
O que ocorre na etapa de reduce (no nó, considerando o exemplo de contagem)?
É a contagem propriamente dita do elemento referido no nó do cluster.
Para retornar a informação da contagem de elemento em tela para o usuário, o que é realizado no freamework do hadoop?
É realizado a agregacao de cada nó no framework do hadoop somente da parte de reducao, devolvendo esta informacao para o usuário.
