Tecnologias de Procesamiento 2

Question 1

Porque es Spark tan rapido?

Answer 1

La mayoria de sus tareas las realiza en memoria

Question 2

Por que surgio Spark?

Answer 2

Surgio como respuesta a la ineficiencia de Map reduce en tareas iterativas, debido a su escritura a disco

Question 3

En que consiste Apache Spark?

Answer 3

En el spark Core

Question 4

Que es el Spark Core?

Answer 4

Motor de ejecucion distribuido y un conjunto de librerias o modulos

Question 5

Cual es el punto de entrada a la API de Spark?

Answer 5

El SparkContext

Question 6

Que es un RDD?

Answer 6

La unidad fundamental de datos en Spark, coleccion distribuida e inmutable de objetos como una tabla en Hive

Question 7

Que es un Dags?

Answer 7

Aplica transformaciones y acciones sobre un RDD, siendo un grafo que crea Spark

Question 8

Que dispara la creaccion de un DAG?

Answer 8

Una accion

Question 9

Se escribe a disco en los estados intermedios deun DAG?

Answer 9

No en map reduce si

Question 10

Que es una transformacion?

Answer 10

Se contruye un nuevo RDD a partir de uno creado previamente

Question 11

Que es una accion?

Answer 11

Calcula un resultado basandose en un RDD existente

Question 12

Ejemplo de transformaciones?

Answer 12

map, filter

Question 13

Ejemplo de acciones?

Answer 13

count, take, collect, saveAsTextFile

Question 14

Como se pueden clasificar las transformaciones?

Answer 14

En narrow y en wide

Question 15

Que es una transformacion narrow?

Answer 15

La logica de procesamiento depende solo de los datos de la particion (No hay movimiento entre particiones)

Question 16

Que es una transformaion wide?

Answer 16

La logica del procesamiento requiere que se mezclen datos de varias particiones

Question 17

Ejemplo de tranformaciones wide?

Answer 17

reduceByKey()

groupByKey()

Question 18

Que es un pair RDD?

Answer 18

Una tupla (key,value)

Question 19

Que funciones solo se pueden aplicar a un RDD de tipo (key,value)

Answer 19

Join, Sort, Group By

Question 20

Que es Confluent?

Answer 20

Una capa por encima de Kafka que permite abstraernos y hace el ecosistema user friendly

Question 21

Caracteristicas de Kafka

Answer 21

Distribuido, multicliente, persistente y real time

Question 22

Algunos inputs de Kafka

Answer 22

Adaptadores, logs, proxies

Question 23

Que es un topic en kafka?

Answer 23

Una cola especifica donde un producer publica mensajes.

Question 24

Que es un broker en kafka

Answer 24

Cada servidor de kafka

Question 25

Que rol maneja zookeeper en kafka

Answer 25

Es el coordinador entre los broker y el consumer

Question 26

Ventajas que permite el particionamiento de topics?

Answer 26

Escalabilidad horizontal (Los topics se particionan en el conjunto de tus brokers) Se puede lanzar varios hilos de un mismo consumer contra un topic.

Question 27

Quien tiene que poner la logica para la ordenacion de mensajes en Kafka?

Answer 27

El consumidor

Question 28

Se asigna una particion a un unico consumer?

Answer 28

Si para evitar duplicidad de datos.

Question 29

De que se encarga el Broker?

Answer 29

Recibe los mensajes de los producers, les asigna un offset y almacena en disco.

Question 30

Clases principales del API del Producer?

Answer 30

KafkaProducer, Producer Record

Question 31

Que tengo que hacer cuando la escritura de mensajes en un topic es mas rapida que la lectura

Answer 31

Agrupo varios consumers en un Cosumer Group

Question 32

Que es zookeper en kafka?

Answer 32

Interfaz de coordinacion entre los brokers de Kafka y los consumidores

Question 33

Como se llama los nodos de zookeeper?

Answer 33

Znode

Question 34

El tipo de almacenamiento de AVRO esta orientado a?

Answer 34

Filas

Question 35

El tipo de almacenamiento de Parquet es?

Answer 35

Columnar

Question 36

El tipo de almacenamiento de ORC?

Answer 36

Columnar

Question 37

Recomendaciones de Compresion

Answer 37

AVRO con SNAPPY

PARQUET con SNAPPY