Tema 7: Hadoop

Question 1

¿Qué es Hadoop?

Answer 1

Es un proyecto OpenSource de Apache que sirve para almacenar y procesar rápidamente grandes cantidades de cualquier tipo de datos.
Proporciona almacenamiento, memoria, procesamiento, redes, …

Question 2

Características principales del funcionamiento de Hadoop.

Answer 2

• División de grandes problemas en más pequeños.

- Procesamiento se mueve a la localización de los datos.

Question 3

Diferencias entre DB relacionales y Hadoop.

Answer 3

• En Hadoop puede haber cualquier tipo de datos: estructurados, semiestructurados y no estructurados.
• Hadoop tiene muy alto rendimiento.
• Las consultas en DB relacionales son en SQL, en Hadoop se puede usar JAVA, Python, HQL, Pig, …
• Hadoop es OpenSource (gratis)
• Hadoop se usa para analizar vídeo, audio, registros, minería de datos.
• En Hadoop el modelo de datos es clave-valor. En BDR es relacional.
• La escalabilidad en Hadoop es horizontal, en BDR es vertical (más costoso).
• Hadoop se puede usar con hardware básico, las BDR suele requerir hardware de gama alta.

Question 4

Componentes principales de Hadoop.

Answer 4

• HDFS: Sistema de ficheros distribuido auto-gestionado (sistema de almacenamiento de Hadoop).
• MapReduce: sistema de computación distribuida y paralela.
• YARN: sistema operativo distribuido.

Question 5

Características el HDFS (Hadoop Distributed File System).

Answer 5

• Sistema de almacenamiento de Hadoop.
• Arquitectura master-slave.
• Gran capacidad de almacenamiento.
• Replicación de datos (buena tolerancia a fallos)
• Escalabilidad horizontal (inclusión de nuevo nodos para aumentar la potencia de procesamiento)
• Bajo coste
• Simplicidad al desarrollar programas que se paralelicen sobre su arquitectura.
• Flexibilidad (acepta cualquier cantidad y tipo de dato)

Question 6

Características de MapReduce.

Answer 6

• Map: acepta par clave-valor y emite par clave-valor intermedio.
• Reduce: acepta par clave-valor intermedio y emite un par clave-valor de salida.

Question 7

¿Qué es PigLatin?

Answer 7

Es un lenguaje de flujo de datos, muy similar a SQL. Permite escribir de forma más sencilla MapReduce.
Se usa en el entorno de ejecución grunt shell.