Big Data Flashcards
PARA FIXAR
Sabe aquele vídeo insuportável com um anúncio de visualizar um vídeo no Youtube? Ou quando você está navegando pelo Facebook e aparece uma propaganda nos eu feed? Esses anúncios são ótimos exemplos de como é utilizado o Big Data. Por diversas vezes, ele é escolhido especificamente para você com base nos sites que você frequenta, sua idade aproximada, seu sexo, onde você mora, além de um monte de outras variáveis.
O termo Big Data na forma como o utilizamos hoje surgiu na década de:
1990.
O autor do termo Big Data é:
John Mashey.
PARA FIXAR
Seu telefone registra a sua localização, registra os aplicativos que você usa e registra quanto tempo você os usa, então todos os aplicativos que você usa coletam dados sobre você.
PARA FIXAR
Exemplo de registro de Big Data
Notificação do Google informando sobre o tempo até o meu trabalho. Você acorda, toma banho, escova os dentes, desce para a garagem e assim que eu entra no carro… o Google me envia uma notificação informando você chegaria no trabalho em 15 minutos!
O Google tem todos os dados devido ao seu Waze, por exemplo, habilitação de localização do celular…
PARA FIXAR
Uma das revelações mais interessantes do Big Data no Netflix trata do poster. Sabe aquelas imagens que aparecem na hora que você vai escolher o filme? Pois é, muitas pessoas escolhem um filme simplesmente baseado nessa imagem. Uma vez que o título e a imagem são a primeira exposição ao conteúdo, escolher as imagens mais atrativas para pessoas específicas pode afetar na sua decisão de assistir um filme ou não.
Observe a imagem: há duas imagens diferentes para o mesmo filme! No entanto, se você gosta mais de assistir filmes românticos, ele mostrará uma imagem do filme com o Matt Damon beijando uma mulher; se você gosta mais de assistir filmes de comédia, ele mostrará uma imagem do mesmo filme, porém com Robin Williams.
Uma das 9 definições de Big Data:
Oxford English Dictionary:
Big Data é um dado de tamanho ______, tipicamente ao nível que sua manipulação e gerenciamento apresenta desafios significativos a _________.
Uma das 9 definições de Big Data:
Oxford English Dictionary:
Big Data é um dado de tamanho grande, tipicamente ao nível que sua manipulação e gerenciamento apresenta desafios significativos a logística.
Uma das 9 definições de Big Data:
Dumbill e Edd:
Big Data é o dado que ______ a capacidade de ______________ ____________ dos sistemas de bancos de dados.
Uma das 9 definições de Big Data:
Dumbill e Edd:
Big Data é o dado que excede a capacidade de processamento convencional dos sistemas de bancos de dados.
Uma das 9 definições de Big Data:
Mayer-Schonberger e Cukier’s:
Big Data é a habilidade da sociedade de aproveitar a informação por novas maneiras para produzir ____________ _____ ou ____ e ________ de valor ____________.
Uma das 9 definições de Big Data:
Mayer-Schonberger e Cukier’s
Big Data é a habilidade da sociedade de aproveitar a informação por novas maneiras para produzir introspecção úteis ou bens e serviços de valor significante.
Uma das 9 definições de Big Data:
Internacional Data Corporation:
Big Data é uma nova geração de ____________ e ____________, projetadas economicamente para extrair valor de _______ _____ _______ e ______ de dados, permitindo alta velocidade de _______, __________ e ______.
Uma das 9 definições de Big Data:
Internacional Data Corporation:
Big Data é uma nova geração de tecnologias e arquitetura, projetadas economicamente para extrair valor de volume muito grande e vasto de dados, permitindo alta velocidade de captura, descoberta e análise.
Uma das 9 definições de Big Data:
Kim, Trimi e Ji-Hyong
Big Data é o termo geral para a enorme quantidade de _____ ________ coletados a partir de _____ __ _____ __ ______.
Uma das 9 definições de Big Data:
Kim, Trimi e Ji-Hyong
Big Data é o termo geral para a enorme quantidade de dados digitais coletados a partir de todos os tipos de fonte.
Uma das 9 definições de Big Data:
Mahrt e Scharkow:
Big Data denota um maior conjunto de dados ao longo do tempo, conjunto de dados estes que são grandes demais para serem manipulados por:
infraestruturas de armazenamento e processamento regulares.
Uma das 9 definições de Big Data:
Davenport e Kwon:
Big Data são dados demasiadamente __________ ou muito _______________ para serem gerenciados e analisados através de meios ___________.
Uma das 9 definições de Big Data:
Davenport e Kwon:
Big Data são dados demasiadamente volumosos ou muito desestruturados para serem gerenciados e analisados através de meios tradicionais.
Uma das 9 definições de Big Data:
Di Martino:
Big Data se refere ao conjunto de dados cujo tamanho está além da habilidade de ferramentas típicas de banco de dados em:
capturar, gerenciar e analisar.
Uma das 9 definições de Big Data:
Rajesh:
Big Data são conjuntos de dados que são tão grandes que se tornam difíceis de trabalhar com o uso de:
ferramentas atualmente disponíveis.
De maneira geral, big data não se refere apenas aos dados, mas também às ________ ____________ criadas para lidar com dados em ______, _________ e __________ significativos.
De maneira geral, big data não se refere apenas aos dados, mas também às soluções tecnológicas criadas para lidar com dados em volume, variedade e velocidade significativos.
Big data trata-se de uma infinidade de informações que não são ____________ que, quando usadas com inteligência, se tornam uma arma poderosa para empresas ________ ________ cada vez melhores. As soluções tecnológicas que trabalham com esse conceito permitem analisar um enorme volume de dados de forma ______ e ainda oferecem total ________ ao gestor das informações.
Big data trata-se de uma infinidade de informações que não são estruturadas que, quando usadas com inteligência, se tornam uma arma poderosa para empresas tomarem decisões cada vez melhores. As soluções tecnológicas que trabalham com esse conceito permitem analisar um enorme volume de dados de forma rápida e ainda oferecem total controle ao gestor das informações.
As fontes de dados do Big Data são as mais diversas possíveis, como por exemplo:
- textos e fotos em rede sociais
- imagens
- vídeos
- jogadas específicas no esporte
- tratamentos na medicina.
- etc.
Os desafios do big data incluem:
- análise
- captura
- curadoria de dados
- pesquisa
- compartilhamento
- armazenamento
- transferência
- visualização
- informações sobre privacidade.
O big data, por vezes, se refere ao uso de análise _________ e outros métodos avançados para extrair _____ de dados.
O big data, por vezes, se refere ao uso de análise preditiva e outros métodos avançados para extrair valor de dados.
A análise preditiva é o processo de usar _____ para prever __________ _______.
A análise preditiva é o processo de usar dados para prever resultados futuros.
O prof. do Estratégia define big data como a _______, ______________ e a _______ de um grande volume de dados, que podem ser ____________ ou ___ ____________ e não podem ser consultados e pesquisados através de ______ __ _____ ___________.
O prof. do Estratégia define big data como a captura, gerenciamento e análise de um grande volume de dados que podem ser estruturados ou não estruturados e não podem ser consultados e pesquisados através de banco de dados relacionais.
CERTO OU ERRADO:
Big data é a captura, gerenciamento e análise de um grande volume de dados que podem ser estruturados ou não estruturados e que só podem ser consultados e pesquisados através de banco de dados relacionais.
ERRADO! Não podem ser consultados por banco de dados relacionais.
Big data, frequentemente, são dados obtidos de:
arquivos não estruturados.
Big data, frequentemente, são dados obtidos de arquivos não estruturados, como:
vídeo digital, imagens, dados de sensores, arquivos de logs e de qualquer tipo de dados não contidos em registros típicos com campos que podem ser pesquisados.
Dados estruturados são dados que podem ser armazenados, acessados e processados em _______ ____ e padronizado de acordo com ______ _____ __________. Esta organização é geralmente feita por _______ e ______ (semelhante a ________ __ ____), mas pode variar de acordo com a _____ de dados.
Dados estruturados são dados que podem ser armazenados, acessados e processados em formato fixo e padronizado de acordo com alguma regra específica. Esta organização é geralmente feita por colunas e linhas (semelhante a planilhas de Excel), mas pode variar de acordo com a fonte de dados.
São exemplos de dados estruturados:
Planilhas Eletrônicas, Bancos de Dados Relacionais e CSV.
Dados semi-estruturados são dados ___________ que não estão de acordo com a _________ ______ dos modelos de dados como em _______, mas que possuem __________ para separar elementos __________ e impor __________ de __________ e ______ dentro dos dados.
Dados semi-estruturados são dados estruturados que não estão de acordo com a estrutura formal dos modelos de dados como em tabelas, mas que possuem marcadores para separar elementos semânticos e impor hierarquia de registros e campos dentro dos dados.
São exemplos de dados semi-estruturados:
Dados de E-mail, Arquivos XML, Arquivos JSON e Banco de Dados NoSQL.
Dados não estruturados são dados que apresentam formato ou estrutura _______________, em que não se sabe extrair de forma _______ os valores desses dados em forma _____.
Dados não estruturados são dados que apresentam formato ou estrutura desconhecidos, em que não se sabe extrair de forma simples os valores desses dados em forma bruta.
São exemplos de dados não estruturados:
Documentos, Imagens, Vídeos, Arquivos de Texto, Posts em Redes Sociais.
CERTO OU ERRADO:
As soluções de big data focalizam dados que já existem, descartam dados não estruturados e disponibilizam os dados estruturados.
ERRADO! Focalizam tanto nos dados estruturados quanto no não estruturados.
CERTO OU ERRADO:
No big data, o tamanho das informações importa.
CERTO! De acordo com Mayer-Schonberger, quanto mais dados, melhor.
PARA FIXAR
O Google mostrou ser capaz de identificar o surgimento de um surto de gripe quase tão bem quanto os dados oficiais com base nos pacientes que visitam o médico – e pôde gerar uma resposta quase em tempo real, muito mais rápido que as fontes oficiais.
Onde os dados do big data podem ser armazenados?
Data Warehouse ou Data Lake (Lago de dados).
O Data Lake é um grande repositório capaz de armazenar _____ ____________, ____-____________ e ___-____________, assim como um método para organizar grandes volumes de dados de ________ ________ e de ________ ______.
O Data Lake é um grande repositório capaz de armazenar dados estruturados, semi-estruturados e não-estruturados, assim como um método para organizar grandes volumes de dados de diversos formatos e diversas fontes.
No data warehouse os dados geralmente são ________ antes de serem armazenados.
No data warehouse os dados geralmente são tratados (limpos, combinados, organizados, etc) antes de serem armazenados.
No data lake os dados geralmente são armazenados da maneira que:
foram capturados – brutos, sem nenhum tratamento.
Quais tipos de dados o data warehouse pode armazenar?
Todos os tipos de dados, mas o foco é nos dados estruturados.
Quais tipos de dados o data lake pode armazenar?
Dados estruturados, semi-estruturados e não-estruturados.
O data warehouse é ideal para:
usuários operacionais.
visto que as ferramentas analíticas são mais fáceis de usar.
O data lake é ideal para:
cientistas de dados
visto que as ferramentas analíticas são mais difíceis de usar.
As ferramentas analíticas do data warehouse e data lake são fáceis ou difíceis de usar?
- As do data warehouse são fáceis, por isso pode de ser usada por usuários operacionais.
- as do data lake são difíceis, por isso tem que ser usada por cientista de dados.
Qual o custo e o consumo de tempo do armazenamento de dados no data warehouse?
Custam geralmente mais caro e consome mais tempo.
Qual o custo e o consumo de tempo do armazenamento de dados no data lake?
Custam geralmente mais barato e consome menos tempo.
No data warehouse, um esquema é definido:
antes dos dados serem armazenados.
No data lake, um esquema é definido:
após os dados serem armazenados.
Qual o volume de dados que o data warehouse pode armazenar?
Um grande volume de dados.
Qual o volume de dados que o data lake pode armazenar?
Um gigantesco volume de dados.
O data lake é projetado para armazenar dados de diversas ______ e ________, não havendo a necessidade da definição de um _______ __ _____ para inserir _____ _____.
O data lake é projetado para armazenar dados de diversas fontes e formatos, não havendo a necessidade da definição de um esquema de dados para inserir novos itens.
CERTO OU ERRADO:
O Data Lake pode ser considerado um repositório de dados relacionados, sendo, portanto, um armazém de dados orientado por assunto.
ERRADO! Os dados não precisam estar relacionados e, portanto, não é orientado por assunto.
CERTO OU ERRADO:
O Data Lake pode ser considerado um conjunto de bancos de dados relacionais e com relacionamentos entre tabelas de diferentes esquemas de bancos de dados.
ERRADO! Não é um conjunto de dados relacionais e não precisa haver relacionamentos entre tabelas de diferentes esquemas – os dados são de diversos formatos e de diversas fontes
CERTO OU ERRADO:
Não há necessidade da definição de um esquema de dados para inserir novos itens no Data Lake.
CERTO!
CERTO OU ERRADO:
Data Lake é o resultado de sucessivas operações de mineração de dados, sendo um ambiente no qual é possível ter relatórios e dashboards de maneira amigável para os analistas de negócio.
ERRADO! Não é o resultado de operações de mineração de dados – são dados brutos sem tratamento e da maneira que foram capturados.
Infraestrutura de dados é o conjunto de _______, ________ e outras ___________ capazes de suportar ________ __ __.
Infraestrutura de dados é o conjunto de hardware, software e outras tecnologias capazes de suportar serviços de TI.
São exemplos de serviços de TI:
Servidor, Firewall, Rede, gerenciamento de segurança de dados…
CERTO OU ERRADO:
Hoje em dia, se pode utilizar serviços de TI fornecidos pela computação em nuvem ou ter uma infraestrutura própria.
CERTO!
De forma geral, as empresas utilizam o Big Data para se tornarem:
mais competitivas.
A condição para se trabalhar bem com um grande volume de dados é ter um:
sistema de computação em nuvem.
A infraestrutura geralmente utilizada para suportar iniciativas de Big Data é a:
computação em nuvem.
computação em nuvem possui capacidade para processar um ______ volumes de dados em _____ ____.
computação em nuvem possui capacidade para processar um grande volumes de dados em tempo real.
CERTO OU ERRADO:
Big Data e Cloud Computing (computação em nuvem) são geralmente dissociáveis quando o assunto é gerar vantagens competitivas para uma organização a partir das informações que ela possui disponíveis, seja internamente ou no mercado, para que seja gerado o maior número de dados possíveis.
ERRADÍSSIMO! Big Data e Cloud Computing (computação em nuvem) são praticamente **INDISSOCIÁVEIS ** quando o assunto é gerar vantagens competitivas.
A grande vantagem de associar Big Data à Cloud Computing (computação em nuvem) é:
reduzir os custos de uma infraestrutura para armazenar e processar os dados.
PARA FIXAR
CURIOSIDADES DO BIG DATA:
1) A cada dois dias, a população mundial cria a mesma quantidade de dados criados do início da civilização humana até 2003.
2) O Google processa em média mais de 40.000 buscas a cada segundo. Isso significa mais de 3,5 bilhões de buscas por dia e 1,2 trilhão de buscas por ano em todo o mundo.
3) Os usuários do Facebook enviam em média 31,25 milhões de mensagens e visualizam 2,77 milhões de vídeos a cada minuto.
4) Dados estão crescendo mais rápido do que nunca e, até o ano de 2020, cerca de 1,7 megabytes de novos dados serão criados a cada segundo para cada ser humano no planeta.
5) Em agosto de 2015, mais de 1/6 da população mundial (mais de um bilhão de pessoas) usaram o Facebook.
6) Estamos vendo um grande crescimento nos dados de vídeos e fotos, onde cada minuto até 300 horas de vídeo são enviados para o YouTube.
7) Em 2015, foram tiradas 1 trilhão de fotos e bilhões delas foram compartilhadas online. Em 2017, quase 80% das fotos foram tiradas em smartphones.
8) Até 2020, teremos mais de 6,1 bilhões de usuários de smartphones no mundo e pelo menos um terço de todos os dados passarão pela nuvem.
9) Hoje em dia, menos de 0,5% de todos os dados criados no planeta são analisados e utilizados, portanto existe um grande potencial ocioso.
Podemos afirmar que a definição de Big Data pode ser quebrada em cinco dimensões, quais sejam:
- Volume: gigantesca quantidade de dados
- Velocidade: rapidez na geração e obtenção dos dados
- Variedade: não seguem um único padrão, grande variedade de tipos e formas
- Veracidade: a informação tem que ser verdadeira, confiança na geração e obtenção dos dados
-
Valor: a informação tem que ter valor, tem que ter utilidade
MNEMÔNICO: Vol ver vavá veloz
O Big Data foi inicialmente conceituado a partir de três premissas básicas: Volume, Velocidade e Variedade (3 V’s).
CERTO OU ERRADO:
A tecnologia do Big Data serve exatamente para lidar com esse volume massivo de dados, guardando-os na mesma localidade.
ERRADO! Não é na mesma localidade. Devido a grande quantidade de dados, tem que ser armazenado em diferentes localidades e é juntado através de software.
O Big Data serve para analisar os dados no instante em que são _______, em _____ ____.
O Big Data serve para analisar os dados no instante em que são criados, em tempo real.
Para que os dados do Big Data possuam valor real e aplicabilidade no mercado, é preciso utilizar os dados de forma ______ antes que se tornem ______________. O objetivo é alcançar formas de trabalhar o processamento dessas informações em _____ ____.
Para que os dados do Big Data possuam valor real e aplicabilidade no mercado, é preciso utilizar os dados de forma rápida antes que se tornem desatualizados. O objetivo é alcançar formas de trabalhar o processamento dessas informações em tempo real.
CERTO OU ERRADO:
Com o Big Data, mensagens, fotos, mídia social, e - mail, vídeos e sons podem ser administrados juntamente com dados tradicionais.
CERTO!
Mensagens, fotos, mídia social, e - mail, vídeos e sons são de dados:
não estruturados.
CERTO OU ERRADO:
Os dados atuais não seguem um único padrão e nem todos fornecem o mesmo tipo de informações, tornando a tarefa de compilar esses dados em um banco de dados tradicional inviável.
CERTO!
PARA FIXAR
Com o Big Data, não é possível controlar cada hashtag do Twitter ou notícia falsa na internet, mas com análises e estatísticas de grandes volumes de dados é possível compensar as informações incorretas.
Dados desatualizados podem ser considerados inverídicos, mas não porque tenham sido gerados com segundas intenções, mas porque não correspondem mais à _________ e podem guiar uma empresa a decisões equivocadas. O desafio posto pelo Big Data é, então, determinar a __________ dos dados disponíveis para uma empresa, de forma que essas informações possam servir de guia para o seu ____________ com maior segurança.
Dados desatualizados podem ser considerados inverídicos, mas não porque tenham sido gerados com segundas intenções, mas porque não correspondem mais à realidade e podem guiar uma empresa a decisões equivocadas. O desafio posto pelo Big Data é, então, determinar a relevância dos dados disponíveis para uma empresa, de forma que essas informações possam servir de guia para o seu planejamento com maior segurança.
O desafio posto pelo Big Data pelas empresas é o de definir a __________ que será feita dessa massa de dados que está circulando.
O desafio posto pelo Big Data pelas empresas é o de definir a abordagem que será feita dessa massa de dados que está circulando.
PARA FIXAR
Big Data Analytics é o ______ e _____________ de grandes quantidades de dados armazenados com a finalidade de extrair _______ __ ______________.
Big Data Analytics é o estudo e interpretação de grandes quantidades de dados armazenados com a finalidade de extrair padrões de comportamento.
No Big Data Analytics utiliza-se uma combinação de _________ __ _________ ___________ de alta __________ que juntos são capazes de tratar _____ ____________ e ___-___________, analisá-los e extrair um ___________ __ ____ _____ para organizações.
No Big Data Analytics utiliza-se uma combinação de sistema de softwares automáticos de alta tecnologia que juntos são capazes de tratar dados estruturados e não-estruturados, analisá-los e extrair um significado de alto valor para organizações.
O Big Data Analytics poderá auxiliar empresas privadas ou administradores de órgãos públicos a:
- entender seus usuários
- encontrar oportunidades não percebidas anteriormente
- fornecer um serviço melhor
- mitigar possíveis fraudes
CERTO OU ERRADO:
O big data analytics é bastante utilizado em órgãos fazendários.
CERTO! Ex: Receita Federal, para evitar sonegação de tributos.
Qual a diferença entre big data analytics e business intelligence?
O objetivo de ambos é ajudar uma organização a tomar boas decisões por meio da análise de dados. No entanto, o Business Intelligence ajuda a encontrar as respostas para as perguntas de negócios que já conhecemos, enquanto o Big Data Analytics nos ajuda a encontrar as perguntas e respostas que nem sequer sabíamos que existiam (tudo isso por meio de padrões, correlações desconhecidas, tendências de mercado e preferências de consumidores).
Em suma, o Business Intelligence trata de encontrar respostas que explicam o _______, já o Big Data Analytics trata de encontrar as perguntas que explicam o _______.
Em suma, o Business Intelligence trata de encontrar respostas que explicam o passado, já o Big Data Analytics trata de encontrar as perguntas que explicam o futuro.
A análise preditiva trata-se do trabalho de analisar um _______ __________ e traçar _________ __________ e ________ capazes de afetar seu ____________ ___________.
A análise preditiva trata-se do trabalho de analisar um cenário específico e traçar possíveis tendências e mudanças capazes de afetar seu planejamento estratégico.
A Análise Preditiva é capaz de identificar o ______________ existente entre os componentes de um ________ __ _____, utilizando algoritmos ____________, com o intuito de identificar _______ __ _____________ ao examinar automaticamente grandes quantidades de dados. Dessa forma, permite-se que estatísticas e dados armazenados sejam _________, fornecendo _________ e indicando _______ e __________ ______________.
A Análise Preditiva é capaz de identificar o relacionamento existente entre os componentes de um conjunto de dados, utilizando algoritmos específicos, com o intuito de identificar padrões de comportamento ao examinar automaticamente grandes quantidades de dados. Dessa forma, permite-se que estatísticas e dados armazenados sejam agrupados, fornecendo previsões e indicando padrões e tendência comportamentais.
CERTO OU ERRADO:
Com o avanço de tecnologias que possibilitam a mineração de dados, a Análise Preditiva conta com cada vez mais segurança e precisão para descobrir padrões e avaliar a probabilidade de um resultado ou acontecimento futuro, diferentemente da simples análise
descritiva de dados, que apenas mede e apresenta resultados passados.
CERTO!
A Análise Descritiva busca a seguinte pergunta: “_ ___ _________?” e fazer uma fotografia do ________, para que decisões de cunho imediato possam ser tomadas com __________. Ela trabalha com _________ __ _____, cruzando informações com o objetivo de gerar um panorama claro e preciso dos _____ __________ para a empresa no ________.
A Análise Descritiva busca a seguinte pergunta: “O que aconteceu ?” e fazer uma fotografia do presente, para que decisões de cunho imediato possam ser tomadas com segurança. Ela trabalha com histórico de dados, cruzando informações com o objetivo de gerar um panorama claro e preciso dos temas relevantes para a empresa no presente.
Exemplo: por meio do cruzamento de dados, conclui-se que determinada pessoa atualmente é identificada como má pagadora.
A Análise Diagnóstica busca a seguinte pergunta: “___ ___ _________?” e seu foco está na relação de ______ e _____________ percebidas ao longo do tempo, dentro de um determinado ____. Assim, a análise diagnóstica funciona baseada na coleta de dados relacionados a um ___________ _______, cruzando informações com o objetivo de entender quais fatores influenciaram o _________ _____.
A Análise Diagnóstica busca a seguinte pergunta: “Por que aconteceu?” e seu foco está na relação de causa e consequência percebidas ao longo do tempo, dentro de um determinado tema. Assim, a análise diagnóstica funciona baseada na coleta de dados relacionados a um determinado assunto, cruzando informações com o objetivo de entender quais fatores influenciaram o resultado atual.
Exemplo: determinada pessoa nunca havia sido identificada como má pagadora – somente é agora porque ficou viúva recentemente.
A Análise Preditiva busca a seguinte pergunta: “_ ___ ___ _________?” e é o mais indicado para quem precisa prever algum tipo de _____________ ou _________. Esta técnica busca analisar _____ __________ ao longo do tempo, buscando _______ _______________ e suas _________ de acordo com cada contexto, a fim de prever como será o _____________ de seu público ou mercado no ______, dadas as condições ______.
A Análise Preditiva busca a seguinte pergunta: “O que vai acontecer?” e é o mais indicado para quem precisa prever algum tipo de comportamento ou resultado. Esta técnica busca analisar dados relevantes ao longo do tempo, buscando padrões comportamentais e suas variações de acordo com cada contexto, a fim de prever como será o comportamento de seu público ou mercado no futuro, dadas as condições atuais.
Exemplo: quanto estará o valor do dólar no ano que vem?
A Análise Prescritiva busca a seguinte pergunta: “_ ___ ____ _____?” e segue um modelo similar à Análise Preditiva, no entanto com objetivos ligeiramente diferentes. Em vez de tentar prever um determinado acontecimento, esta análise busca prever as _____________ deste acontecimento.
A Análise Prescritiva busca a seguinte pergunta: “O que devo fazer?” e segue um modelo similar à Análise Preditiva, no entanto com objetivos ligeiramente diferentes. Em vez de tentar prever um determinado acontecimento, esta análise busca prever as consequências deste acontecimento.
Exemplo: dado um aumento do valor do dólar no ano que vem, como isso poderá afetar as importações de matéria prima, consequentemente, o faturamento das vendas de determinada empresa.
PARA FIXAR
Uma dúvida comum é sobre a diferença entre Business Intelligence, Big Data Analytics e Data Mining! Alguns autores consideram um é a evolução do anterior, abrangendo mais dados e ferramentas matemáticas/estatísticas; outros afirmam que – na verdade – é tudo a mesma coisa e que possuem nomes diferentes apenas por uma questão de marketing: vende mais dizer que uma ferramenta de software é uma solução de Big Data Analytics do que uma solução de Data Mining.
CERTO OU ERRADO:
Big Data Analytics é mais gerada ou mais utilizada somente por grandes empresas online como Google ou Amazon.
ERRADO! São utilizadas por diversas empresas.
Big Data Analytics é uma estratégia baseada em tecnologia que permite coletar insights mais profundos e relevantes de ________, _________ e _______, ganhando assim uma _________ ___________.
Big Data Analytics é uma estratégia baseada em tecnologia que permite coletar insights mais profundos e relevantes de clientes, parceiros e negócio, ganhando assim uma vantagem competitiva.
Big Data Analytics é trabalhar com conjuntos de dados cujo porte e variedade estão além da habilidade de captura, armazenamento e análise de softwares de banco de dados _______.
Big Data Analytics é trabalhar com conjuntos de dados cujo porte e variedade estão além da habilidade de captura, armazenamento e análise de softwares de banco de dados típicos.
Big Data Analytics é o processamento de um fluxo contínuo de dados em _____ ____, possibilitando a ______ __ ________ _________ ao tempo mais ______ do que em qualquer outra época.
Big Data Analytics é o processamento de um fluxo contínuo de dados em tempo real, possibilitando a tomada de decisões sensíveis ao tempo mais rápida do que em qualquer outra época.
CERTO OU ERRADO:
O Big Data Analytics é distribuído na natureza, isto é, o processamento de análise vai aonde estão os dados para maior velocidade e eficiência.
CERTO!
Big Data Analytics é um novo paradigma no qual a tecnologia da informação colabora com usuários empresariais e “cientistas de dados” para identificar e implementar análises que ampliam a _________ ___________ e resolvem _____ _________ ____________.
Big Data Analytics é um novo paradigma no qual a tecnologia da informação colabora com usuários empresariais e “cientistas de dados” para identificar e implementar análises que ampliam a eficiência operacional e resolvem novos problemas empresariais.
CERTO OU ERRADO:
Big data analytics é transferir a tomada de decisão dentro da empresa e permitir que pessoas tomem decisões melhores, mais rápidas e em tempo real.
CERTO!
CERTO OU ERRADO:
Big data analytics pode ser um substituto de bancos de dados relacionais.
ERRADO! Sistemas tradicionais podem não ter capacidade de manipular as novas fontes e contextos do Big Data.
CERTO OU ERRADO:
Big data analytics é o uso de bancos de dados relacionais tradicionais de “tamanho único” criados com base em disco compartilhado e arquitetura de memória.
ERRADO! Big Data Analytics usa uma rede de recursos de computação para processamento massivamente paralelo e escalável.
CERTO OU ERRADO:
Big data analytics pode ser conceituada também como somente volume e tecnologia.
ERRADO! É muito mais do que isso.
Sentiment Analysis é a:
Análises de Sentimentos dos usuários.
Churn é uma métrica utilizada para mostrar o número de clientes que:
cancelam serviço em um determinado período de tempo.
O SQL é uma linguagem de ________ ___________ utilizada para manipular ______ __ ______ ___________.
O SQL é uma linguagem de dados estruturados utilizada para manipular bancos de dados relacionais.
Por meio da linguagem SQL, um usuário pode executar comandos para inserir, pesquisar, atualizar ou deletar _________ em um banco de dados ___________, criar ou excluir _______, conceder ou revogar __________ para acessar o banco de dados, entre outros recursos.
Por meio da linguagem SQL, um usuário pode executar comandos para inserir, pesquisar, atualizar ou deletar registros em um banco de dados relacionais, criar ou excluir tabelas, conceder ou revogar permissões para acessar o banco de dados, entre outros recursos.
NoSQL é o nome genérico dado a bancos de dados ____________ e ___ ___________, em que não há estruturas de _______ (_____ _ _______).
NoSQL é o nome genérico dado a bancos de dados distribuídos e não relacionais, em que não há estruturas de tabelas (linhas e colunas).
Os NoSQL geralmente são orientados a __________, isto é, são capazes de manipular _____ ________________.
Os NoSQL geralmente são orientados a documentos, isto é, são capazes de manipular dados semiestruturados.
mas por que não continuar utilizando bancos de dados relacionais? No caso destes tipos de organizações, a utilização de bancos de dados relacionais tem se mostrado muito problemática e até ineficiente. Os principais problemas estão relacionados à dificuldade de conciliar o tipo de modelo com a demanda da escalabilidade que está cada vez mais frequente.
Bancos de dados relacionais estão mais focados nos:
relacionamento entre as entidades.
Bancos de dados relacionais estão mais focados nos relacionamentos entre as entidades.
Como vantagem, isso ______ _ ___________ dos dados; como desvantagem, torna mais burocráticas as alterações e implementações de _____ ______________.
Bancos de dados relacionais estão mais focados nos relacionamentos entre as entidades.
Como vantagem, isso mantém a integridade dos dados; como desvantagem, torna mais burocráticas as alterações e implementações de novas funcionalidades.
A proposta dos bancos de dados não-relacionais não é substituir os bancos de dados relacionais, mas serem utilizados nos casos em que é necessária uma maior:
flexibilidade na estrutura do banco de dados.
Responda a tabela que contém uma comparação com as diferenças fundamentais entre NoSQL e SQL quanto ao modelo,
armazenamento, flexibilidade, adequação, escalabilidade e exemplos de aplicações.
NoSQL é um termo genérico para absolutamente todas as variedades de bancos de dados que não sejam:
relacionais.
abarcando, inclusive, bancos de dados com algumas características completamente díspares entre si.
CERTO OU ERRADO:
Como o próprio nome sugere o NoSQL (bancos de dados não-relacionais) não podem armazenar relacionamentos entre dados.
ERRADO! Podem sim, só que farão de uma maneira diferente de banco de dados relacionais.
Bancos de dados relacionais, em geral, utilizam ______ (_________ e ____________) para armazenar o relacionamento entre dados, já os bancos de dados não-relacionais utilizam:
Bancos de dados relacionais, em geral, utilizam chaves (primárias e estrangeiras) para armazenar o relacionamento entre dados, já os bancos de dados não-relacionais utilizam cada um o seu modelo/forma de armazená-los.
Bancos de dados relacionais e não-relacionais possuem uma grande diferença em relação ao:
esquema de dados.
Esquema é uma _________ do banco de dados, que informa qual _________/___________ será utilizada para ________ os dados que serão ___________.
Esquema é uma descrição do banco de dados, que informa qual estrutura/organização será utilizada para suportar os dados que serão manipulados.
Bancos de dados relacionais possuem esquema ___________ enquanto bancos de dados não-relacionais possuem esquemas _________.
Bancos de dados relacionais possuem esquema inflexíveis enquanto bancos de dados não-relacionais possuem esquemas flexíveis.
PARA FIXAR
Dados armazenados em um banco de dados não-relacional podem ter características, tipos, estruturas e organizações completamente diferentes até mesmo entre um mesmo conjunto de dados. É justamente essa ausência de esquema que facilita uma alta escalabilidade e alta disponibilidade, mas em contrapartida não há a garantia de integridade dos dados, fato que não ocorre em bancos de dados relacionais.
Bancos de dados não-relacionais utilizam modelos diferentes de armazenamento de dados, os quais podem ser divididos em quatro categorias principais:
- Chave-Valor
- Orientado a Documentos
- Orientado a Grafos
- Orientado a Colunas (Colunar).
Alguns bancos de dados podem implementar mais de um desses modelos.
O modelo de armazenamento de dados em banco não-relacionais “Orientado a Chave-Valor” armazena dados por meio de uma estrutura de ___________ ou __________, em que todo dado armazenado possui uma _____ ______________ e seu _____ em si. Para cada chave de entrada, é retornado um _____ __ _____.
O modelo de armazenamento de dados em banco não-relacionais “Orientado a Chave-Valor” armazena dados por meio de uma estrutura de -mapeamento ou dicionário, em que todo dado armazenado possui uma chave identificadora e seu valor em si. Para cada chave de entrada, é retornado um valor de saída.
São exemplos de modelos de armazenamento de dado em banco de dados não relacionais “Orientados a Chave-Valor”:
Table Storage, DynamoDB, Cassandra e Redis.
O modelo de armazenamento de dados em banco não-relacionais “Orientado a Documentos” armazena dados na forma de __________ __________, ________________ e ____________ junto com seus _________ sem uma __________ definida. Em geral, os dados são armazenados em formato ____ ou ___.
O modelo de armazenamento de dados em banco não-relacionais “Orientado a Documentos” armazena dados na forma de documentos flexíveis, semiestruturados e hierárquicos junto com seus metadados sem uma estrutura definida. Em geral, os dados são armazenados em formato JSON ou XML.
São exemplos de modelos de armazenamento de dados em banco não-relacionais “Orientado a Documentos”:
MongoDB, CouchDB e DocumentDB.
O modelo de armazenamento de dados em banco não-relacionais “Orientado a grafos” armazena o relacionamento entre dados __________ __________ por meio de ________ e _______. São geralmente utilizados em ______ _______, mecanismos de ____________ e detecção de _______.
O modelo de armazenamento de dados em banco não-relacionais “Orientado a grafos” armazena o relacionamento entre dados altamente conectados por meio de vértices e arestas. São geralmente utilizados em redes sociais, mecanismos de recomendação e detecção de fraudes.
São exemplos de modelos de armazenamento de dados em banco não-relacionais “Orientado a grafos”:
Neo4J, Infinite Graph e ArangoDB.
O modelo de armazenamento de dados em banco não-relacionais “Orientado a Colunas” armazena dados em _______ _________. É o mais semelhante ao modelo __________, mas os dados são armazenados em _______ em vez de linhas. Ademais, cada coluna pode conter __________, que podem conter várias ____________.
O modelo de armazenamento de dados em banco não-relacionais “Orientado a Colunas” armazena dados em colunas dinâmicas. É o mais semelhante ao modelo relacional, mas os dados são armazenados em colunas em vez de linhas. Ademais, cada coluna pode conter subcolunas, que podem conter várias propriedades.
São exemplos de modelos de armazenamento de dados em banco não-relacionais “Orientado a Colunas”:
Hypertable e MonetDB.
CERTO OU ERRADO:
Apesar de implementarem tecnologias distintas, todos os bancos de dados NoSQL apresentam em comum a implementação da tecnologia chave-valor.
ERRADO! Eles podem apresentar implementações diferentes, como chave-valor, orientado a documentos, orientado a grafos ou orientado a colunas.
O processo de decomposição dos dados é chamado de __________ (___); e o processo de consolidação do resultado dos mapeamentos é chamado de _______ (______).
O processo de decomposição dos dados é chamado de Mapeamento (Map); e o processo de consolidação do resultado dos mapeamentos é chamado de Redução (Reduce).
O MapReduce é um modelo de programação que permite reduzir _________ _______ em _________ _______, mapeando cada ___________ para ________ __________ (ou _____________ diferentes de uma mesma _______) e, em seguida, reduzindo cada resposta intermediária à _____ ________ _____ que você está procurando.
O MapReduce é um modelo de programação que permite reduzir problemas grandes em problemas menores, mapeando cada subproblema para máquinas diferentes (ou processadores diferentes de uma mesma máquina) e, em seguida, reduzindo cada resposta intermediária à única resposta final que você está procurando.
Um excelente exemplo para que vocês nunca esqueçam é o site de questões do Estratégia Concursos. Atualmente, ele possui um bocadinho de questões… Haverá a funcionalidade que permite fazer buscas por palavras em todas essas questões. Vocês já imaginaram a complexidade do problema de fazer uma busca textual em mais de dois milhões de questões? Quando eu pesquisar por “MapReduce” em nosso sistema, ele retornará todas as questões que contenham essa palavra. Uma forma de resolver esse problema é dividir a busca em diversos computadores diferentes trabalhando paralelamente (Ex: Computador 1 buscará em questões do CESPE; Computador 2 buscará em questões da FCC; e assim por diante). Pois é, mas vocês já sabem que uma maneira de resolver problemas complexos é dividindo-o em vários problemas menores
O MapReduce é considerado um modelo de ___________ que permite o processamento de dados ________ em um algoritmo ________ e ___________ (em ________). A etapa de mapeamento se baseia em uma combinação de _____-_____
O MapReduce é considerado um modelo de programação que permite o processamento de dados massivos em um algoritmo paralelo e distribuído (em clusters). A etapa de mapeamento se baseia em uma combinação de chave-valor.
**EXEMPLO DE MAP REDUCE*
site de questões do Estratégia Concursos. Atualmente, ele possui um bocadinho de questões… Haverá a funcionalidade que permite fazer buscas por palavras em todas essas questões.
A chave escolhida foi Banca e o valor é o Nome da Banca em si.
- Mapeamento (Chave, Valor) ➜ Mapeamento (Banca, CESPE); Mapeamento (Banca, FCC); mapeamento (Banca; FGV) . . .
Poderia escolher outra chave? Claro que sim! Poderíamos escolher, por exemplo, matéria, ano, dificuldade, entre outros. Vejamos:
- Mapeamento (Chave, Valor ➜ Mapeamento (matéria, informática); Mapeamento (matéria, português) . . .
- Mapeamento (Chave, Valor) ➜ Mapeamento (ano, 2020); Mapeamento (ano, 2019); mapeamento (ano; 2018) . . .
- Mapeamento (Chave, Valor) ➜ Mapeamento (dificuldade, fácil); Mapeamento (dificuldade, difícil); . . .
Podemos concluir que a imagem em questão trata-se de um:
MapReduce. Podemos perceber que se pede a informação (Input Data), o sistema faz o mapeamento (Map Task), reduz a quantidade de informações (Reduce Task) e obtém a resposta final (Output).
A etapa de redução do MapReduce é responsável por __________ __ __________ de cada mapeamento, gerando um _________ _________.
A etapa de redução do MapReduce é responsável por consolidar os resultados de cada mapeamento, gerando um resultado agregado.
Apache Hadoop é apenas uma das _______________ da técnica de MapReduce.
Apache Hadoop é apenas uma das implementações da técnica de MapReduce.
existem outras implementações, mas essa é a mais famosa
O Apache Hadoop é um software de ______ ______, implementado na linguagem de ____________ ____, para implementar o algoritmo de MapReduce em ________ ______. Na verdade, ele é mais do que um software – ele é uma __________, um _________, um ___________ de computação distribuída orientada a ________ e voltado para armazenamento e processamento de _______ ______ __ _____, com alta ____________, grande ______________ e tolerância a ______. Ele é responsável por todo gerenciamento do ______, não sendo necessário configurar máquinas de forma __________.
O Apache Hadoop é um software de código aberto, implementado na linguagem de programação Java, para implementar o algoritmo de MapReduce em máquina comuns. Na verdade, ele é mais do que um software – ele é uma plataforma, um framework, um ecossistema de computação distribuída orientada a clusters e voltado para armazenamento e processamento de grandes volumes de dados, com alta escalabilidade, grande confiabilidade e tolerância a falhas. Ele é responsável por todo gerenciamento do cluster, não sendo necessário configurar máquinas individualmente.
Em implementações de Big Data, temos uma arquitetura baseada em dois componentes principais:
armazenamento de dados e processamento paralelo.
Em implementações de Big Data, temos uma arquitetura baseada em dois componentes principais: armazenamento de dados e processamento paralelo. No Hadoop, o armazenamento distribuído de dados é tratado pelo ____ (_______ ____ ______) e o processamento paralelo de dados é tratado pelo _________.
Em implementações de Big Data, temos uma arquitetura baseada em dois componentes principais: armazenamento de dados e processamento paralelo. No Hadoop, o armazenamento distribuído de dados é tratado pelo HDFS (Hadoop File System) e o processamento paralelo de dados é tratado pelo MapReduce.
Big Data lida com uma quantidade gigantesca de dados! Quem se dá super bem quando possui uma quantidade absurda de dados?
A Inteligência Artificial!
Quanto mais dados ela possuir, mais “inteligente” será! Essa combinação está ajudando as organizações a entenderem seus clientes muito melhor – até mesmo de maneiras que eram impossíveis no passado.
CERTO OU ERRADO:
O Big Data, por si só, é inútil sem uma ferramenta para analisar os dados e os seres humanos não conseguem fazer isso de forma eficiente.
CERTO!
A Inteligência Artificial pode ser extremamente útil para:
- detectar anomalias
- calcular probabilidades de sucessos,
- reconhecimento de padrões
- reconhecimento de imagens
- reconhecimento de palavras (discursos)
- tecnologias de carros autônomos, entre outros.
Alguns autores dividem as possíveis aplicações de Inteligência Artificial em três grupos:
1) Ciência cognitiva
2) Robótica
3) Interfaces naturais
São exemplo de aplicação de Inteligência Artificial na ciência cognitiva:
em sistemas especialistas, lógica difusa, algoritmos genéticos e redes neurais.
São exemplo de aplicação de Inteligência Artificial na robótica:
percepção visual, locomoção, condução, tatilidade.
São exemplo de aplicação de Inteligência Artificial na interfaces naturais:
linguagens naturais, reconhecimento de discurso, interfaces multissensoriais e realidade virtual.
O ChatBot é um programa de computador que tenta simular um:
ser humano na conversação com as pessoas.
O objetivo da pesquisa de inteligência artificial é permitir que as máquinas realizem algumas _______ _________ que requerem atualmente _______ ____________ para que sejam concluídas.
O objetivo da pesquisa de inteligência artificial é permitir que as máquinas realizem algumas tarefas complexas que requerem atualmente humanos inteligentes para que sejam concluídas.
Em outras palavras, esperamos que a máquina possa nos substituir para resolver algumas tarefas complicadas.
CERTO OU ERRADO:
O serviço de chatbot, um sistema que permite às grandes corporações oferecer um canal direto com o consumidor, é um dos exemplos tecnológicos utilizado no atendimento ao público, tornando a comunicação entre empresa e cliente mais próxima e personalizada, graças aos avanços da inteligência artificial.
CERTO!
