Big Data Flashcards
O que são dados estruturados
Estruturas que devem ser seguidas, como os bancos de dados relacionais.
O que são dados semi-estruturados
Dados semi-estruturados são dados que não possuem uma estrutura rígida e fixa, como os dados estruturados, mas ainda assim têm uma organização que facilita seu processamento e interpretação. Esses dados possuem elementos identificáveis que ajudam a delimitar e categorizar a informação, mas não seguem um esquema tabular rigoroso, como tabelas de bancos de dados relacionais.
Ex. XML (Extensible Markup Language): Utilizado para armazenar e transportar dados. Um exemplo seria um arquivo XML que descreve informações de produtos:
Outros exemplos:
- E-mails: Um e-mail possui uma estrutura identificável (com campos como remetente, destinatário, assunto, corpo do e-mail), mas não segue um esquema rígido como um banco de dados.
- Documentos HTML: Utilizados para criar páginas web, possuem uma estrutura hierárquica que organiza elementos de forma semi-estruturada.
- Logs de servidor: Registros de atividades de servidores podem ter uma estrutura consistente com campos como data, hora, mensagem de log, mas não seguem um esquema estrito.
Dados semi-estruturados são comuns em aplicações web, integração de sistemas e em contextos onde a flexibilidade de representação é necessária, mas ainda é vantajoso ter algum grau de estrutura para facilitar o processamento automático.
O que são dados não estruturados
Dados não estruturados são informações que não têm uma estrutura predefinida ou um formato específico que facilite seu processamento e análise com métodos tradicionais de banco de dados. Esses dados não se encaixam em tabelas ou bancos de dados relacionais, tornando-se mais complexos de organizar, armazenar e analisar.
Podem estar em diversos formatos, não seguem um esquema de modelo fixo,
Exemplos:
1. Documentos de texto: Artigos, relatórios, livros, arquivos PDF, etc., que contêm texto livre sem um formato predefinido. 2. Imagens: Fotos, gráficos, e outros tipos de arquivos de imagem que não possuem uma estrutura textual identificável. 3. Vídeos: Arquivos de vídeo em diferentes formatos (MP4, AVI, etc.), que contêm uma grande quantidade de informação visual e auditiva.
O que ignifica BIG DATA?
É o conceito de armazenamento de grande volume de dados
O que é IoT?
Internet of things(Internet das coisas)Internet conectada a qualquer coisa
Ex. geladeira
Está ligada ao bigdata porque empresas coletam e analisam grande quantidade de dados vindos desses dispositivos
Os 5 V’s do big data e agora mais 2
Variedade: Tipos de dados
Velocidade: Velocidade de produção
Volume: Tamanho dos dados
Veracidade: Confiabilidade e confiança nos dados
Valor: Valor derivado da exploração de big data
variabilidade - dados podem mudar de diferentes maneiras;
visualização - dados apresentados de forma sistemática e organizada.
Pra que serve o hadoop?
Ferramenta usada para armazenar grande volume de arquivos, resiste a indisponibilidades parciais através de modelo de cluster.
Como funciona a análise Big Data Descritiva?
Análise descritiva: Resume e descreve os principais aspectos dos dados, como média,
mediana, variância e distribuição. A análise descritiva ajuda a entender o que aconteceu no
passado e identificar padrões e tendências.
Como funciona a análise Big Data Preditiva?
Análise preditiva: Usa técnicas de aprendizado de máquina e estatística para prever
resultados futuros com base em dados históricos. A análise preditiva pode ajudar a identificar
oportunidades e riscos e orientar a tomada de decisões.
Como funciona a análise Big Data Prescritiva?
Análise prescritiva: Combina a análise preditiva com a otimização e simulação para
recomendar ações que maximizem os resultados desejados. A análise prescritiva pode ajudar
a tomar decisões mais informadas e eficazes em situações complexas e incertas.
Como funciona a análise Big Data diagnóstica?
A análise diagnóstica concentra-se em entender por que algo aconteceu. Ela examina os dados históricos para identificar causas e fatores que contribuíram para eventos passados.
O que a ferramenta de visualização de dados Big Data exibe?
A visualização de dados é uma ferramenta para comunicar os resultados da análise de Big
Data de maneira clara e eficaz. A visualização de dados envolve a criação de gráficos, tabelas e outras
representações visuais que tornam os dados e insights mais acessíveis e compreensíveis. Algumas
das ferramentas e bibliotecas populares para visualização de dados incluem Tableau, D3.js e Matplotlib.
