[TI] Big Data

Question 1

Tópico: Data lake

O que é um datalake?

Answer 1

É um repositório centralizado de todos os dados que necessitam ser trabalhados.

Question 2

Tópico: Data lake

Quais as funções de um datalake?

Answer 2

Ingerir, armazenar e processar dados.

Question 3

Tópico: Data lake

Quais as diferenças entre um data lake e um data warehouse?

Answer 3

link

Question 4

Tópico: Tipos de dados

Quais são os tipos de dados que existem?

Answer 4

Estruturados, não estruturados, semiestruturados.

Question 5

Tópico: Tipos de dados

O que são dados estruturados?

Answer 5

São dados que necessitam de uma estrutura prévia.

Ex: Banco de dados.

Question 6

Tópico: Tipos de dados

O que são dados não estruturados

Answer 6

São dados que não possuem uma restrição de estrutura.

Ex: Texto, vídeo, áudio.

Question 7

Tópico: Tipos de dados

O que são dados semiestruturados?

Answer 7

São dados que possuem uma estrutura simples mas flexível.

Ex: HTML, JSON.

Question 8

Tópico: Tipos de dados

O que são dados transacionais?

Answer 8

Dados transacionais são informações capturadas de transações. Eles podem registrar a hora, local, preço, forma de pagamento, descontos, e outras quantidades e qualidades associadas à transação.

Question 9

Tópico: V’s do Big Data

Quais são os V’s do Big Data e o que cada um deles representa?

Answer 9

3 V’s
Volume, velocidade e variedade.

5 V’s
Veracidade e valor.

7 V’s
Viralidade e viscosidade.

Question 10

Tópico: NoSQL

Quais as principais características de um banco NoSQL?

Answer 10

Esquemas dinâmicos, manipulação através de APIs orientadas a objeto, escalabilidade e armazenamento de vários tipos de dados diferentes.

Question 11

Tópico: Pipeline

O que é um pipeline?

Answer 11

É a série de consecutivas automações dos passos de processamento de dados crus coletados de várias fontes em direção a um destino.

Question 12

Tópico: Pipeline

Quais as principais vantagens de um pipeline?

Answer 12

Velocidade, confiabilidade e redução de latência.

Question 13

Tópico: Pipeline

Quais são as operações mais comuns em pipelines?

Answer 13

Extração, junção, estandardização (padronização), validação, correção, carregamento dos dados.

Question 14

Tópico: Pipeline

Quais são os tipos de pipeline existentes?

Answer 14

Lotes (batch), tempo real (streaming), Cloud native e Open source.

Question 15

Tópico: Pipeline

Qual a diferença entre ETL e ELT?

Answer 15

No ETL o processo de transformação dos dados acontece na staging, uma área intermediária localizada na própria fonte dos dados, já em ELT a transformação acontece no destino, idealmente um datalake.

Com a transformação acontecendo no datalake, isso exclui a necessidade de um profissional altamente especializado (engenheiro de dados), possibilitando que a transformação seja feita pelos analistas de negócios e analistas de dados.

Question 16

Tópico: Pipeline

Quais as características de um ETL?

Answer 16

Utiliza área de transição (staging), processo caro, consome dados já processados, necessita de um engenheiro de dados, usado em datawarehouses.

Question 17

Tópico: Pipeline

Quais as características de um ELT?

Answer 17

É veloz pois possui um rápido carregamento, transformação de dados é feita pelo analista, usado em big data.

Question 18

Tópico: NoSQL

O que são esquemas dinâmicos?

Answer 18

A estrutura do schema pode ser alterada a qualquer momento, não necessitando de uma estrutura pré-definida.

Question 19

Tópico: NoSQL

O que são APIs orientadas a objeto?

Answer 19

São APIs que vem integradas ao banco para que são usadas para facilitar o CRUD.

Question 20

Tópico: NoSQL

Porque um banco NoSQL é escalável?

Answer 20

Como possuem um sistema de armazenamento distribuído e esquemas dinâmicos a inserção de novas bases se torna muito mais fácil.

Question 21

Tópico: NoSQL

Quais são os modelos de bancos NoSQL?

Answer 21

Modelo baseado em grafos, modelo chave-valor, modelo orientado a colunas, modelo orientado a documentos.

Question 22

Tópico: NoSQL

Quais as características de um banco NoSQL baseado em grafos?

Answer 22

As informações estão representadas por meio de
grafos e nós. É extremamente útil quando se os dados estão intimamente correlacionados, pois as a correlação não precisa existir nas queries, elas já estão representadas no banco.

Question 23

Tópico: NoSQL

Quais são os exemplos de bancos orientados a grafos?

Answer 23

Neo4J e Titan.

Question 24

Tópico: NoSQL

Quais as características de um banco NoSQL baseado em chave-valor?

Answer 24

Esses bancos possuem um par de chave-valor e todos os dados podem ser armazenados dessa maneira. Tanto a chave quanto o valor podem ser qualquer coisa, desde objetos simples até a composição de objetos complexos.

Question 25

Tópico: NoSQL

Quais os exemplos de banco de dados baseados em chave-valor?

Answer 25

Amazon Dynamo DB, Cassandra e Oracle.

Question 26

Tópico: NoSQL

Quais as características de um banco NoSQL orientado a colunas?

Answer 26

É um banco aonde os dados são serializados na forma de colunas em vez de linhas, desse jeito as queries são muito mais rápidas pois não precisam varrer toda a base para verificar uma condição específica.

Question 27

Tópico: NoSQL

Quais exemplos de bancos orientados a colunas?

Answer 27

Apache Hbase e Google Big Table, *Cassandra.

Question 28

Tópico: NoSQL

Quais as características de um banco NoSQL orientado a documentos?

Answer 28

É um banco que possui registros que armazenam informações de um objeto e seus metadados. É um banco distribuído, possui esquema flexível, as queries podem ser realizadas via API ou query language.

Question 29

Tópico: NoSQL

Quais exemplos de bancos orientados a documentos?

Answer 29

MongoDB e CouchDB.