🆗Big Data Flashcards
1
Q
PARA FIXAR
Sabe aquele vídeo insuportável com um anúncio de visualizar um vídeo no Youtube? Ou quando você está navegando pelo Facebook e aparece uma propaganda nos eu feed? Esses anúncios são ótimos exemplos de como é utilizado o Big Data. Por diversas vezes, ele é escolhido especificamente para você com base nos sites que você frequenta, sua idade aproximada, seu sexo, onde você mora, além de um monte de outras variáveis.
A
2
Q
Em que época surgiu o termo Big Data?
A
Na década de 1990.
3
Q
Quem é o autor do termo Big Data?
A
John Mashey.
4
Q
PARA FIXAR
Seu celular registra a sua localização, registra os aplicativos que você usa e registra quanto tempo você os usa, então todos os aplicativos que você usa coletam dados sobre você.
A
5
Q
PARA FIXAR
Exemplo de registro de Big Data
Notificação do Google informando sobre o tempo até o meu trabalho. Você acorda, toma banho, escova os dentes, desce para a garagem e assim que eu entra no carro… o Google me envia uma notificação informando você chegaria no trabalho em 15 minutos!
O Google tem todos os dados devido ao seu Waze, por exemplo, habilitação de localização do celular…
A
6
Q
PARA FIXAR
Uma das revelações mais interessantes do Big Data no Netflix trata do poster. Sabe aquelas imagens que aparecem na hora que você vai escolher o filme? Pois é, muitas pessoas escolhem um filme simplesmente baseado nessa imagem. Uma vez que o título e a imagem são a primeira exposição ao conteúdo, escolher as imagens mais atrativas para pessoas específicas pode afetar na sua decisão de assistir um filme ou não.
Observe a imagem: há duas imagens diferentes para o mesmo filme! No entanto, se você gosta mais de assistir filmes românticos, ele mostrará uma imagem do filme com o Matt Damon beijando uma mulher; se você gosta mais de assistir filmes de comédia, ele mostrará uma imagem do mesmo filme, porém com Robin Williams.
A
7
Q
No que consiste o Big Data?
A
Há várias definições, mas em geral, big data não se refere apenas aos dados, mas também às soluções tecnológicas criadas para lidar com dados em volume, variedade e velocidade significativos, com uma infinidade de informações que não são estruturadas que, quando usadas com inteligência, se tornam uma arma poderosa para empresas tomarem decisões cada vez melhores.
8
Q
CERTO OU ERRADO
As soluções tecnológicas que trabalham com Big Data permitem analisar um enorme volume de dados de forma rápida e ainda oferecem total controle ao gestor das informações.
A
CERTO!
9
Q
PARA FIXAR
Uma das 9 definições de Big Data:
Oxford English Dictionary:
Big Data é um dado de tamanho grande, tipicamente ao nível que sua manipulação e gerenciamento apresenta desafios significativos a logística.
A
10
Q
PARA FIXAR
Uma das 9 definições de Big Data:
Dumbill e Edd:
Big Data é o dado que excede a capacidade de processamento convencional dos sistemas de bancos de dados.
A
11
Q
PARA FIXAR
Uma das 9 definições de Big Data:
Mayer-Schonberger e Cukier’s
Big Data é a habilidade da sociedade de aproveitar a informação por novas maneiras para produzir introspecção úteis ou bens e serviços de valor significante.
A
12
Q
PARA FIXAR
Uma das 9 definições de Big Data:
Internacional Data Corporation:
Big Data é uma nova geração de tecnologias e arquitetura, projetadas economicamente para extrair valor de volume muito grande e vasto de dados, permitindo alta velocidade de captura, descoberta e análise.
A
13
Q
PARA FIXAR
Uma das 9 definições de Big Data:
Kim, Trimi e Ji-Hyong
Big Data é o termo geral para a enorme quantidade de dados digitais coletados a partir de todos os tipos de fonte.
A
14
Q
PARA FIXAR
Uma das 9 definições de Big Data:
Mahrt e Scharkow:
Big Data denota um maior conjunto de dados ao longo do tempo, conjunto de dados estes que são grandes demais para serem manipulados por infraestruturas de armazenamento e processamento regulares.
A
15
Q
PARA FIXAR
Uma das 9 definições de Big Data:
Davenport e Kwon:
Big Data são dados demasiadamente volumosos ou muito desestruturados para serem gerenciados e analisados através de meios tradicionais.
A
16
Q
PARA FIXAR
Uma das 9 definições de Big Data:
Di Martino:
Big Data se refere ao conjunto de dados cujo tamanho está além da habilidade de ferramentas típicas de banco de dados em capturar, gerenciar e analisar.
A
17
Q
PARA FIXAR
Uma das 9 definições de Big Data:
Rajesh:
Big Data são conjuntos de dados que são tão grandes que se tornam difíceis de trabalhar com o uso de ferramentas atualmente disponíveis.
A
18
Q
Quais as fontes de dados do Big Data?
A
- textos e fotos em rede sociais
- imagens
- vídeos
- jogadas específicas no esporte
- tratamentos na medicina.
- etc.
19
Q
Quais os desafios do big data?
A
- análise
- captura
- curadoria de dados
- pesquisa
- compartilhamento
- armazenamento
- transferência
- visualização
- informações sobre privacidade.
20
Q
PARA FIXAR
O big data, por vezes, se refere ao uso de análise preditiva e outros métodos avançados para extrair valor de dados.
A
21
Q
No que consiste a análise preditiva?
A
Processo de usar dados para prever resultados futuros.
22
Q
PARA FIXAR
O prof. do Estratégia define big data como a captura, gerenciamento e análise de um grande volume de dados que podem ser estruturados ou não estruturados e não podem ser consultados e pesquisados através de banco de dados relacionais.
A
23
Q
CERTO OU ERRADO:
Big data é a captura, gerenciamento e análise de um grande volume de dados que podem ser estruturados ou não estruturados e que só podem ser consultados e pesquisados através de banco de dados relacionais.
A
ERRADO! Não podem ser consultados por banco de dados relacionais.
24
Q
Big data, frequentemente, são dados obtidos de arquivos estruturados ou não estruturados?
A
Arquivos não estruturados.
25
Big data, frequentemente, são dados obtidos de arquivos não estruturados.
Quais os tipos de arquivos não estruturados?
Vídeo digital, imagens, dados de sensores, arquivos de logs e de qualquer tipo de dados não contidos em registros típicos com campos que podem ser pesquisados.
26
O que são dados estruturados?
Dados que podem ser armazenados, acessados e processados em formato fixo e padronizado de acordo com alguma regra específica.
27
Como é feita a organização dos dados estruturados?
Geralmente feita por colunas e linhas (semelhante a planilhas de Excel), mas pode variar de acordo com a fonte de dados.
28
Cite exemplos de dados estruturados.
Planilhas Eletrônicas, Bancos de Dados Relacionais e CSV.
29
O que são dados semi-estruturados?
Dados estruturados que não estão de acordo com a estrutura formal dos modelos de dados como em tabelas, mas que possuem marcadores para separar elementos semânticos e impor hierarquia de registros e campos dentro dos dados.
30
Cite exemplos de dados semi-estruturados.
Dados de E-mail, Arquivos XML, Arquivos JSON e Banco de Dados NoSQL.
31
O que são dados não estruturados?
Dados que apresentam formato ou estrutura desconhecidos, em que não se sabe extrair de forma simples os valores desses dados em forma bruta.
32
Cite exemplos de dados não estruturados.
Documentos, Imagens, Vídeos, Arquivos de Texto, Posts em Redes Sociais.
33
CERTO OU ERRADO:
As soluções de big data focalizam dados que já existem, descartam dados não estruturados e disponibilizam os dados estruturados.
ERRADO! Focalizam tanto nos dados estruturados quanto no não estruturados.
34
CERTO OU ERRADO:
No big data, o tamanho das informações importa.
CERTO! De acordo com Mayer-Schonberger, quanto mais dados, melhor.
35
**PARA FIXAR**
O Google mostrou ser capaz de identificar o surgimento de um surto de gripe quase tão bem quanto os dados oficiais com base nos pacientes que visitam o médico – e pôde gerar uma resposta quase em tempo real, muito mais rápido que as fontes oficiais.
36
Onde os dados do big data podem ser armazenados?
Data Warehouse ou Data Lake (Lago de dados).
37
No que consiste o Data Lake?
Um grande repositório capaz de armazenar dados estruturados, semi-estruturados e não-estruturados, assim como um método para organizar grandes volumes de dados de diversos formatos e diversas fontes.
38
Qual o elemento-chave no gerenciamento de um data lake?
Os metadados.
39
CERTO OU ERRADO
No data lake os dados geralmente são tratados antes de serem armazenados.
ERRADO! No Data Warehouse que eles são limpos, combinados, organizados, etc antes de serem armazenados.
40
No data lake os dados, geralmente, os dados são armazenados de que maneira?
Da maneira que foram capturados, ou seja, brutos, sem nenhum tratamento.
41
Quais tipos de dados o Data Warehouse pode armazenar?
Todos os tipos de dados, mas o foco é nos dados estruturados.
42
Quais tipos de dados o data lake pode armazenar?
Todos os tipos de dados: Dados estruturados, semi-estruturados e não-estruturados.
43
O Data Warehouse é ideal para que tipo de usuário?
Para usuários operacionais. Como os dados já estão tratados, as ferramentas analíticas são mais fáceis de usar.
44
O Data Lake é ideal para que tipo de usuário?
Para os cientistas de dados, visto que as ferramentas analíticas são mais difíceis de usar.
45
As ferramentas analíticas do Data Warehouse e Data Lake são fáceis ou difíceis de usar?
- As do data warehouse são fáceis, por isso pode de ser usada por usuários operacionais.
- as do data lake são difíceis, por isso tem que ser usada por cientista de dados.
46
Qual o custo e o consumo de tempo do armazenamento de dados no Data Warehouse?
Custam geralmente mais caro e consome mais tempo.
47
Qual o custo e o consumo de tempo do armazenamento de dados no Data Lake?
Custam geralmente mais barato e consome menos tempo.
48
No Data Warehouse, um esquema é definido antes ou depois dos dados serem armazenados?
Antes dos dados serem armazenados.
49
No Data Lake, um esquema é definido antes ou depois dos dados serem armazenados?
Depois dos dados serem armazenados.
50
Qual o volume de dados que o Data Warehouse pode armazenar?
Um grande volume de dados.
51
Qual o volume de dados que o Data Lake pode armazenar?
Um gigantesco volume de dados, maior que o Data Warehouse.
52
CERTO OU ERRADO
O Data Lake é projetado para armazenar dados de diversas fontes e formatos, mas deve haver definição de um esquema de dados para inserir novos itens.
ERRADO! O Data Lake realmente é projetado para armazenar dados de diversas fontes e dados, mas _não é necessário um esquema de dados para inserir novos itens_.
53
CERTO OU ERRADO:
O Data Lake pode ser considerado um repositório de dados relacionados, sendo, portanto, um armazém de dados orientado por assunto.
ERRADO! Os dados não precisam estar relacionados e, portanto, não é orientado por assunto.
54
CERTO OU ERRADO:
O Data Lake pode ser considerado um conjunto de bancos de dados relacionais e com relacionamentos entre tabelas de diferentes esquemas de bancos de dados.
ERRADO! Não é um conjunto de dados relacionais e não precisa haver relacionamentos entre tabelas de diferentes esquemas – os dados são de diversos formatos e de diversas fontes
55
CERTO OU ERRADO:
Não há necessidade da definição de um esquema de dados para inserir novos itens no Data Lake.
CERTO!
56
CERTO OU ERRADO:
Data Lake é o resultado de sucessivas operações de mineração de dados, sendo um ambiente no qual é possível ter relatórios e dashboards de maneira amigável para os analistas de negócio.
ERRADO! São dados brutos sem tratamento e da maneira que foram capturados e não resultantes de mineração de dados.
57
O que é um infraestrutura de dados?
O conjunto de hardware, software e outras tecnologias capazes de suportar serviços de TI.
58
Cite exemplos de serviços de TI.
Servidor, Firewall, Rede, gerenciamento de segurança de dados...
59
CERTO OU ERRADO:
Hoje em dia, se pode utilizar serviços de TI fornecidos pela computação em nuvem ou ter uma infraestrutura própria.
CERTO!
60
De forma geral, por que as empresas utilizam o Big Data?
Para se tornarem mais competitivas.
61
Nos dias de hoje, qual a condição para se trabalhar bem com um grande volume de dados?
Ter um sistema de computação em nuvem.
62
Qual a infraestrutura geralmente utilizada para suportar iniciativas de Big Data?
Computação em nuvem.
63
CERTO OU ERRADO
A computação em nuvem possui capacidade para processar um grande volumes de dados em tempo real.
CERTO!
64
CERTO OU ERRADO:
Big Data e Cloud Computing (computação em nuvem) são geralmente dissociáveis quando o assunto é gerar vantagens competitivas para uma organização a partir das informações que ela possui disponíveis, seja internamente ou no mercado, para que seja gerado o maior número de dados possíveis.
ERRADÍSSIMO! Big Data e Cloud Computing (computação em nuvem) são praticamente **INDISSOCIÁVEIS ** quando o assunto é gerar vantagens competitivas.
65
Qual a grande vantagem de associar Big Data à Cloud Computing (computação em nuvem)?
Reduzir os custos de uma infraestrutura para armazenar e processar os dados.
66
**PARA FIXAR**
CURIOSIDADES DO BIG DATA:
**1)** A cada dois dias, a população mundial cria a mesma quantidade de dados criados do início da civilização humana até 2003.
**2)** O Google processa em média mais de 40.000 buscas a cada segundo. Isso significa mais de 3,5 bilhões de buscas por dia e 1,2 trilhão de buscas por ano em todo o mundo.
**3)** Os usuários do Facebook enviam em média 31,25 milhões de mensagens e visualizam 2,77 milhões de vídeos a cada minuto.
**4)** Dados estão crescendo mais rápido do que nunca e, até o ano de 2020, cerca de 1,7 megabytes de novos dados serão criados a cada segundo para cada ser humano no planeta.
**5)** Em agosto de 2015, mais de 1/6 da população mundial (mais de um bilhão de pessoas) usaram o Facebook.
**6)** Estamos vendo um grande crescimento nos dados de vídeos e fotos, onde cada minuto até 300 horas de vídeo são enviados para o YouTube.
**7)** Em 2015, foram tiradas 1 trilhão de fotos e bilhões delas foram compartilhadas online. Em 2017, quase 80% das fotos foram tiradas em smartphones.
**8)** Até 2020, teremos mais de 6,1 bilhões de usuários de smartphones no mundo e pelo menos um terço de todos os dados passarão pela nuvem.
**9)** Hoje em dia, menos de 0,5% de todos os dados criados no planeta são analisados e utilizados, portanto existe um grande potencial ocioso.
67
Podemos afirmar que a definição de Big Data pode ser quebrada em cinco dimensões.
Quais são?
- **Volume**: gigantesca quantidade de dados
- **Veracidade**: a informação tem que ser verdadeira, confiança na geração e obtenção dos dados
- **Variedade**: não seguem um único padrão, grande variedade de tipos e formas
- **Valor**: a informação tem que ter valor, tem que ter utilidade
- **Velocidade**: rapidez na geração e obtenção dos dados
*MNEMÔNICO: Vol ver vavá veloz*
68
Big Data foi inicialmente conceituado a partir de três premissas básicas.
Quais são?
Volume, Velocidade e Variedade (3 V’s).
69
CERTO OU ERRADO:
A tecnologia do Big Data serve exatamente para lidar com esse volume massivo de dados, guardando-os na mesma localidade.
ERRADO! Não é na mesma localidade. Devido a grande quantidade de dados, tem que ser armazenado em *diferentes localidades* e é juntado através de software.
70
O Big Data serve para analisar os dados em que momento?
No instante em que são criados, em tempo real.
71
O que é necessário para que os dados do Big Data possuam valor real e aplicabilidade no mercado?
Utilizar os dados de forma rápida antes que se tornem desatualizados. O objetivo é alcançar formas de trabalhar o processamento dessas informações em tempo real.
72
CERTO OU ERRADO:
Com o Big Data, mensagens, fotos, mídia social, e - mail, vídeos e sons podem ser administrados juntamente com dados tradicionais.
CERTO!
73
Cite exemplos de dados não estruturados.
Mensagens, fotos, mídia social, e - mail, vídeos e sons.
74
**PARA FIXAR**
Os dados atuais não seguem um único padrão e nem todos fornecem o mesmo tipo de informações, tornando a tarefa de compilar esses dados em um banco de dados tradicional inviável.
75
**PARA FIXAR**
Com o Big Data, não é possível controlar cada hashtag do Twitter ou notícia falsa na internet, mas com análises e estatísticas de grandes volumes de dados é possível compensar as informações incorretas.
76
Por que dados desatualizados podem ser considerados inverídicos?
Porque não correspondem mais à realidade e podem guiar uma empresa a decisões equivocadas (não porque tenham sido gerados com segundas intenções).
77
**PARA FIXAR**
O desafio posto pelo Big Data pelas empresas é o de definir a abordagem que será feita dessa massa de dados que está circulando.
78
**PARA FIXAR**
79
No que consiste o Big Data Analytics?
Estudo e interpretação de grandes quantidades de dados armazenados com a finalidade de extrair padrões de comportamento.
80
Como funciona o Big Data Analytics?
Utiliza-se de uma combinação de sistema de softwares automáticos de alta tecnologia que juntos são capazes de tratar dados estruturados e não-estruturados, analisá-los e extrair um significado de alto valor para organizações.
81
Como o Big Data Analytics poderá auxiliar empresas privadas ou administradores de órgãos públicos?
1) A entender seus usuários
2) Encontrar oportunidades não percebidas anteriormente
3) Fornecer um serviço melhor
40 Mitigar possíveis fraudes
82
CERTO OU ERRADO:
O big data analytics é bastante utilizado em órgãos fazendários.
CERTO! Ex: Receita Federal, para evitar sonegação de tributos.
83
Qual a diferença entre big data analytics e business intelligence?
O objetivo de ambos é ajudar uma organização a tomar boas decisões por meio da análise de dados. No entanto, o Business Intelligence ajuda a encontrar as respostas para as perguntas de negócios que já conhecemos, enquanto o Big Data Analytics nos ajuda a encontrar as perguntas e respostas que nem sequer sabíamos que existiam (tudo isso por meio de padrões, correlações desconhecidas, tendências de mercado e preferências de consumidores).
84
**PARA FIXAR**
Em suma, o Business Intelligence trata de encontrar respostas que explicam o passado, já o Big Data Analytics trata de encontrar as perguntas que explicam o futuro.
85
No que consiste a análise preditiva?
Trabalho de analisar um cenário específico e traçar possíveis tendências e mudanças capazes de afetar seu planejamento estratégico.
86
**PARA FIXAR**
A Análise Preditiva é capaz de identificar o relacionamento existente entre os componentes de um conjunto de dados, utilizando algoritmos específicos, com o intuito de identificar padrões de comportamento ao examinar automaticamente grandes quantidades de dados. Dessa forma, permite-se que estatísticas e dados armazenados sejam agrupados, fornecendo previsões e indicando padrões e tendência comportamentais.
87
CERTO OU ERRADO:
Com o avanço de tecnologias que possibilitam a mineração de dados, a Análise Preditiva conta com cada vez mais segurança e precisão para descobrir padrões e avaliar a probabilidade de um resultado ou acontecimento futuro, diferentemente da simples análise descritiva de dados, que apenas mede e apresenta resultados passados.
CERTO!
88
No que consiste a Análise Descritiva?
Na análise do histórico de dados, cruzando informações com o objetivo de gerar um panorama claro e preciso dos temas relevantes para a empresa no presente.
*Exemplo: por meio do cruzamento de dados, conclui-se que determinada pessoa atualmente é identificada como má pagadora.*
89
A Análise Descritiva busca responde a que pergunta?
"O que aconteceu ?" e fazer uma fotografia do presente, para que decisões de cunho imediato possam ser tomadas com segurança.
90
No que consiste a Análise Diagnóstica?
Na coleta de dados relacionados a um determinado assunto, cruzando informações com o objetivo de entender quais fatores influenciaram o resultado atual.
*Exemplo: determinada pessoa nunca havia sido identificada como má pagadora – somente é agora porque ficou viúva recentemente.*
91
A Análise Diagnóstica busca a responder a que pergunta?
"Por que aconteceu?"
92
Qual o foco da Análise Diagnóstica?
A relação de causa e consequência percebidas ao longo do tempo, dentro de um determinado tema.
93
No que consiste a Análise Preditiva?
Busca analisar dados relevantes ao longo do tempo, buscando padrões comportamentais e suas variações de acordo com cada contexto, a fim de prever como será o comportamento de seu público ou mercado no futuro, dadas as condições atuais.
*Exemplo: quanto estará o valor do dólar no ano que vem?
94
A Análise Preditiva busca responder a que pergunta?
"O que vai acontecer?"
95
Qual o tipo de Análise mais indicada para quem precisa prever algum tipo de comportamento ou resultado?
A Análise Preditiva.
96
No que consiste a Análise Prescritiva?
Em vez de tentar prever um determinado acontecimento, ela busca prever as consequências deste acontecimento.
*Exemplo: dado um aumento do valor do dólar no ano que vem, como isso poderá afetar as importações de matéria prima, consequentemente, o faturamento das vendas de determinada empresa.*
97
A Análise Prescritiva busca responder a que pergunta?
O que devo fazer?"
98
**PARA FIXAR**
A Análise Prescritiva segue um modelo similar à Análise Preditiva, no entanto com objetivos ligeiramente diferentes.
99
**PARA FIXAR**
Uma dúvida comum é sobre a diferença entre Business Intelligence, Big Data Analytics e Data Mining! Alguns autores consideram um é a evolução do anterior, abrangendo mais dados e ferramentas matemáticas/estatísticas; outros afirmam que – na verdade – é tudo a mesma coisa e que possuem nomes diferentes apenas por uma questão de marketing: vende mais dizer que uma ferramenta de software é uma solução de Big Data Analytics do que uma solução de Data Mining.
100
CERTO OU ERRADO:
Big Data Analytics é mais gerada ou mais utilizada somente por grandes empresas online como Google ou Amazon.
ERRADO! São utilizadas por diversas empresas.
101
CERTO OU ERRADO
Big Data Analytics é uma estratégia baseada em tecnologia que permite coletar insights mais profundos e relevantes de clientes, parceiros e negócio, ganhando assim uma vantagem competitiva.
CERTO!
102
**PARA FIXAR**
Big Data Analytics é trabalhar com conjuntos de dados cujo porte e variedade estão além da habilidade de captura, armazenamento e análise de softwares de banco de dados típicos.
103
**PARA FIXAR**
Big Data Analytics é o processamento de um fluxo contínuo de dados em tempo real, possibilitando a tomada de decisões sensíveis ao tempo mais rápida do que em qualquer outra época.
104
CERTO OU ERRADO:
O Big Data Analytics é distribuído na natureza, isto é, o processamento de análise vai aonde estão os dados para maior velocidade e eficiência.
CERTO!
105
**PARA FIXAR**
Big Data Analytics é um novo paradigma no qual a tecnologia da informação colabora com usuários empresariais e “cientistas de dados” para identificar e implementar análises que ampliam a eficiência operacional e resolvem novos problemas empresariais.
106
CERTO OU ERRADO:
Big data analytics é transferir a tomada de decisão dentro da empresa e permitir que pessoas tomem decisões melhores, mais rápidas e em tempo real.
CERTO!
107
CERTO OU ERRADO:
Big data analytics pode ser um substituto de bancos de dados relacionais.
ERRADO! Sistemas tradicionais podem não ter capacidade de manipular as novas fontes e contextos do Big Data.
108
CERTO OU ERRADO:
Big data analytics é o uso de bancos de dados relacionais tradicionais de “tamanho único” criados com base em disco compartilhado e arquitetura de memória.
ERRADO! Big Data Analytics usa uma rede de recursos de computação para processamento massivamente paralelo e escalável.
109
CERTO OU ERRADO:
Big data analytics pode ser conceituada também como somente volume e tecnologia.
ERRADO! É muito mais do que isso.
110
No que consiste o Sentiment Analysis?
Análises de Sentimentos dos usuários.
111
O que é um 'Churn'?
Uma métrica utilizada para mostrar o número de clientes que cancelam serviço em um determinado período de tempo.
112
No que consiste o SQL?
Uma linguagem de dados estruturados utilizada para manipular bancos de dados relacionais.
113
Que tipo de comandos um usuário pode executar no SQL?
Para inserir, pesquisar, atualizar ou deletar registros em um banco de dados relacionais, criar ou excluir tabelas, conceder ou revogar permissões para acessar o banco de dados, entre outros recursos.
114
No que consiste o NoSQL?
Nome genérico dado a bancos de dados distribuídos e não relacionais, em que não há estruturas de tabelas (linhas e colunas).
115
**PARA FIXAR**
Os NoSQL geralmente são orientados a documentos, isto é, são capazes de manipular dados semiestruturados.
*mas por que não continuar utilizando bancos de dados relacionais? No caso destes tipos de organizações, a utilização de bancos de dados relacionais tem se mostrado muito problemática e até ineficiente. Os principais problemas estão relacionados à dificuldade de conciliar o tipo de modelo com a demanda da escalabilidade que está cada vez mais frequente.*
116
Os bancos de dados relacionais estão mais focados em que?
Nos relacionamento entre as entidades.
117
Bancos de dados relacionais estão mais focados nos relacionamentos entre as entidades.
Qual a vantagem de forcar nesses relacionamento entre as entidade?
A manutenção da integridade dos dados.
118
Bancos de dados relacionais estão mais focados nos relacionamentos entre as entidades.
Qual a desvantagem de forcar nesses relacionamento entre as entidade?
Torna mais burocráticas as alterações e implementações de novas funcionalidades.
119
CERTO OU ERRADO
A proposta dos bancos de dados não-relacionais é substituir os bancos de dados relacionais.
ERRADO! É serem utilizados nos casos em que é necessária uma maior flexibilidade na estrutura do banco de dados.
120
Responda a tabela que contém uma comparação com as diferenças fundamentais entre NoSQL e SQL quanto ao modelo,
armazenamento, flexibilidade, adequação, escalabilidade e exemplos de aplicações.
121
**PARA FIXAR**
NoSQL é um termo genérico para absolutamente todas as variedades de bancos de dados que não sejam relacionais.
*abarcando, inclusive, bancos de dados com algumas características completamente díspares entre si.*
122
CERTO OU ERRADO:
Como o próprio nome sugere o NoSQL (bancos de dados não-relacionais) não podem armazenar relacionamentos entre dados.
ERRADO! Podem sim, só que farão de uma maneira diferente de banco de dados relacionais.
123
De que forma os bancos de dados relacionais, em geral, armazenam o relacionamento entre dados?
Utilizando chaves primárias e estrangeiras.
124
De que forma os bancos de dados não-relacionais, em geral, armazenam o relacionamento entre dados?
Cada um utiliza o seu modelo/forma de armazenar.
125
Qual a grande diferença entre o bancos de dados relacionais e não-relacionais?
O esquema de dados.
126
No que consiste um Esquema?
Uma descrição do banco de dados, que informa qual estrutura/organização será utilizada para suportar os dados que serão manipulados.
127
Qual o tipo de esquema dos bancos de dados relacionais?
Inflexíveis.
128
Qual o tipo de esquema dos bancos de dados não-relacionais?
Flexíveis.
129
**PARA FIXAR**
Dados armazenados em um banco de dados não-relacional podem ter características, tipos, estruturas e organizações completamente diferentes até mesmo entre um mesmo conjunto de dados. É justamente essa ausência de esquema que facilita uma alta escalabilidade e alta disponibilidade, mas em contrapartida não há a garantia de integridade dos dados, fato que não ocorre em bancos de dados relacionais.
130
Bancos de dados não-relacionais utilizam modelos diferentes de armazenamento de dados, os quais podem ser divididos em quatro categorias principais. Quais são?
- Chave-Valor
- Orientado a Documentos
- Orientado a Grafos
- Orientado a Colunas (Colunar).
*Alguns bancos de dados podem implementar mais de um desses modelos.*
131
No que consiste o modelo de armazenamento de dados em banco não-relacionais "Orientado a Chave-Valor"?
Modelo que armazena dados por meio de uma estrutura de mapeamento ou dicionário, em que todo dado armazenado possui uma chave identificadora e seu valor em si. Para cada chave de entrada, é retornado um valor de saída.
132
Cite exemplos de modelos de armazenamento de dado em banco de dados não relacionais "Orientados a Chave-Valor".
Table Storage, DynamoDB, Cassandra e Redis.
133
No que consiste o modelo de armazenamento de dados em banco não-relacionais "Orientado a Documentos"?
Modelo que armazena dados na forma de documentos flexíveis, semiestruturados e hierárquicos junto com seus metadados sem uma estrutura definida.
134
Em geral, os dados armazenadaos pelo modelo de armazenamento de dados em banco não-relacionais "Orientado a Documentos" são feitos em que formato?
JSON ou XML.
135
Cite exemplos de modelos de armazenamento de dados em banco não-relacionais "Orientado a Documentos":
MongoDB, CouchDB e DocumentDB.
136
No que consiste o modelo de armazenamento de dados em banco não-relacionais "Orientado a grafos"?
Modelo que armazena o relacionamento entre dados altamente conectados por meio de vértices e arestas.
137
Onde geralmente utilizados os modelos de armazenamento de dados em banco não-relacionais "Orientado a grafos"?
Em redes sociais, mecanismos de recomendação e detecção de fraudes.
138
Cite exemplos de modelos de armazenamento de dados em banco não-relacionais "Orientado a grafos":
Neo4J, Infinite Graph e ArangoDB.
139
No que consiste o modelo de armazenamento de dados em banco não-relacionais "Orientado a Colunas"?
Modelo que armazena dados em colunas dinâmicas.
*cada coluna pode conter subcolunas, que podem conter várias propriedades.*
140
O modelo de armazenamento de dados em banco não-relacionais "Orientado a Colunas" é o mais semelhante ao modelo relacional.
Qual a diferença entre os dois?
O modelo de armazenamento Orientado a Colunas armazenam os dados em colunas e o modelo relacional armazena em linhas.
141
Cite exemplos de modelos de armazenamento de dados em banco não-relacionais "Orientado a Colunas":
Hypertable e MonetDB.
142
CERTO OU ERRADO:
Apesar de implementarem tecnologias distintas, todos os bancos de dados NoSQL apresentam em comum a implementação da tecnologia chave-valor.
ERRADO! Eles podem apresentar implementações diferentes, como chave-valor, orientado a documentos, orientado a grafos ou orientado a colunas.
143
No que consiste o Mapeamento (map)?
Processo de decomposição dos dados?
144
No que consiste a Redução (Reduce)?
Processo de consolidação do resultado dos mapeamentos.
145
No que consiste o MapReduce?
Um modelo de programação que permite reduzir problemas grandes em problemas menores, mapeando cada subproblema para máquinas diferentes (ou processadores diferentes de uma mesma máquina) e, em seguida, reduzindo cada resposta intermediária à única resposta final que você está procurando.
146
**PARA FIXAR**
Exemplo MapReduce
O site de questões do Estratégia Concursos. Atualmente, ele possui um bocadinho de questões... Haverá a funcionalidade que permite fazer buscas por palavras em todas essas questões. Vocês já imaginaram a complexidade do problema de fazer uma busca textual em mais de dois milhões de questões? Quando eu pesquisar por “MapReduce” em nosso sistema, ele retornará todas as questões que contenham essa palavra. Uma forma de resolver esse problema é dividir a busca em diversos computadores diferentes trabalhando paralelamente (Ex: Computador 1 buscará em questões do CESPE; Computador 2 buscará em questões da FCC; e assim por diante). Pois é, mas vocês já sabem que uma maneira de resolver problemas complexos é dividindo-o em vários problemas menores.
147
**PARA FIXAR**
O MapReduce é considerado um modelo de programação que permite o processamento de dados massivos em um algoritmo paralelo e distribuído (em clusters). A etapa de mapeamento se baseia em uma combinação de chave-valor.
148
**EXEMPLO DE MAP REDUCE*
site de questões do Estratégia Concursos. Atualmente, ele possui um bocadinho de questões... Haverá a funcionalidade que permite fazer buscas por palavras em todas essas questões.
A chave escolhida foi Banca e o valor é o Nome da Banca em si.
- Mapeamento (Chave, Valor) ➜ Mapeamento (Banca, CESPE); Mapeamento (Banca, FCC); mapeamento (Banca; FGV) . . .
Poderia escolher outra chave? Claro que sim! Poderíamos escolher, por exemplo, matéria, ano, dificuldade, entre outros. Vejamos:
1. Mapeamento (Chave, Valor ➜ Mapeamento (matéria, informática); Mapeamento (matéria, português) . . .
2. Mapeamento (Chave, Valor) ➜ Mapeamento (ano, 2020); Mapeamento (ano, 2019); mapeamento (ano; 2018) . . .
3. Mapeamento (Chave, Valor) ➜ Mapeamento (dificuldade, fácil); Mapeamento (dificuldade, difícil); . . .
149
**PARA FIXAR**
Exemplo de MapReduce
Podemos perceber que se pede a informação (Input Data), o sistema faz o mapeamento (Map Task), reduz a quantidade de informações (Reduce Task) e obtém a resposta final (Output).
150
No que consiste a etapa de redução do MapReduce?
É a etapa responsável por consolidar os resultados de cada mapeamento, gerando um resultado agregado.
151
**PARA FIXAR**
Apache Hadoop é apenas uma das implementações da técnica de MapReduce.
*existem outras implementações, mas essa é a mais famosa*
152
No que consiste o Apache Hadoop?
Software de código aberto, implementado na linguagem de programação Java, para implementar o algoritmo de MapReduce em máquina comuns. Na verdade, ele é mais do que um software – ele é uma plataforma, um framework, um ecossistema de computação distribuída orientada a clusters e voltado para armazenamento e processamento de grandes volumes de dados, com alta escalabilidade, grande confiabilidade e tolerância a falhas.
153
Qual o papel do Apache Hadoop?
Gerenciar o cluster, não sendo necessário configurar máquinas individualmente.
154
Em implementações de Big Data, temos uma arquitetura baseada em dois componentes principais. Quais são?
Armazenamento de dados e processamento paralelo.
155
Em implementações de Big Data, temos uma arquitetura baseada em dois componentes principais: armazenamento de dados e processamento paralelo.
No Hadoop, o armazenamento distribuído de dados é tratado por quem?
Pelo HDFS (Hadoop File System).
156
Em implementações de Big Data, temos uma arquitetura baseada em dois componentes principais: armazenamento de dados e processamento paralelo.
No Hadoop, o processamento paralelo de dados é tratado por quem?
Pelo MapReduce.
157
**PARA FIXAR**
Big Data lida com uma quantidade gigantesca de dados! Quem se dá super bem quando possui uma quantidade absurda de dados é Inteligência Artificial! *Quanto mais dados ela possuir, mais “inteligente” será! Essa combinação está ajudando as organizações a entenderem seus clientes muito melhor – até mesmo de maneiras que eram impossíveis no passado.
158
CERTO OU ERRADO:
O Big Data, por si só, é inútil sem uma ferramenta para analisar os dados e os seres humanos não conseguem fazer isso de forma eficiente.
CERTO!
159
Quando a Inteligência Artificial pode ser extremamente útil?
- para detectar anomalias
- para calcular probabilidades de sucessos,
- para reconhecimento de padrões
- para reconhecimento de imagens
- para reconhecimento de palavras (discursos)
- para tecnologias de carros autônomos, entre outros.
160
Alguns autores dividem as possíveis aplicações de Inteligência Artificial em três grupos. Quais são?
1) Ciência cognitiva
2) Robótica
3) Interfaces naturais
161
Cite exemplos de aplicação de Inteligência Artificial na ciência cognitiva:
em sistemas especialistas, lógica difusa, algoritmos genéticos e redes neurais.
162
Cite exemplos de aplicação de Inteligência Artificial na robótica:
percepção visual, locomoção, condução, tatilidade.
163
Cite exemplos de aplicação de Inteligência Artificial na interfaces naturais:
linguagens naturais, reconhecimento de discurso, interfaces multissensoriais e realidade virtual.
164
No que consiste o ChatBot?
Programa de computador que tenta simular um ser humano na conversação com as pessoas.
165
Qual o objetivo da pesquisa de inteligência artificial?
Permitir que as máquinas realizem algumas tarefas complexas que requerem atualmente humanos inteligentes para que sejam concluídas.
*Em outras palavras, esperamos que a máquina possa nos substituir para resolver algumas tarefas complicadas.*
166
CERTO OU ERRADO:
O serviço de chatbot, um sistema que permite às grandes corporações oferecer um canal direto com o consumidor, é um dos exemplos tecnológicos utilizado no atendimento ao público, tornando a comunicação entre empresa e cliente mais próxima e personalizada, graças aos avanços da inteligência artificial.
CERTO!
167
REVER O PDF INTEIRO!!!
168
