Eixo 5 - BD Flashcards
Big Data (nuvem >)
Volume, velocidade, variedade, valor e veracidade
Dado Estruturado
Rígido, valor definido (BD)
Dado Não-Estruturado
Forma bruta (texto, imagem)
Dado Semi-Estruturado
Flexível, sem formato (xml, html)
Data Lake
Armazena os dados em seu formato original, sem limitações de tamanho, e oferece flexibilidade para processar dados de qualquer tipo. Repositório centralizado para armazenar, processar e proteger grande quantidade de dados
ETL (NÃO FAZ ANÁLISE)
Extração, transformação e carregamento no DW ou data mart (maior latência)
ELT
Extração, carrega no data lake, dados sempre disponíveis e depois transforma (menor latência)
NoSQL (Semi e não)
dinâmico, API, maior escalabilidade, vários tipos de dados
NoSQL
Usado em arquitetura de rede
Hadoop (não é um banco de dados)
Framework para armazenar Big Data,
Scrapers
Robôs que coletam informações
Spark
framework para processamento de dados em larga escala
DW (dados internos e externos) (24 horas)
Estruturado, não volátil, variável no tempo e orientado a assunto (NÃO A APLICAÇÃO)
Data Mart
Específico e atende uma área do negócio dentro da org
OLAP
Faz análises dos dados guardados dentro do DW, consultas analíticas complexas (é uma interface com o usuário e não uma forma de armazenamento de dados).