Visualization Flashcards
Visualization Service
Amazon QuickSight
What is QuickSight ?
- Fast, easy, cloud
-powered business
analytics service - Allows all employees in an organization
to:* Build visualizations - Perform ad-hoc analysis
- Quickly get business insights from data
- Anytime, on any device (browsers, mobile)
- Serverless
QuickSight Data Sources
- Redshift
- Aurora / RDS
- Athena
- EC2-hosted databases
- Files (S3 or on-premises)
- Excel
- CSV, TSV
- Common or extended log format
- Data preparation allows limited ETL
SPICE * Data sets are imported into SPICE
- Super-fast, Parallel, In-memory Calculation
Engine - Uses columnar storage, in
-memory, machine
code generation - Accelerates interactive queries on large
datasets
SPICE - Each user gets …
- 10GB of SPICE
SPICE - Scales to…
hundreds of thousands of users
SPICE - Can accelerate large queries that would
time out in direct query mode (hitting Athena directly)
But if it takes more than 30 minutes to import your data into SPICE it will still time out
QuickSight Use Cases (IDA)
- Interactive ad-hoc exploration / visualization of data
- Dashboards and KPI’s
- Analyze / visualize data from:
- Logs in S3
- On-premise databases
- AWS (RDS, Redshift, Athena, S3)
- SaaS applications, such as Salesforce
- Any JDBC/ODBC data source
QuickSight Anti
-Patterns * Highly formatted canned reports
- QuickSight is for ad-hoc queries, analysis, and visualization
QuickSight Anti
-Patterns / ETL
Use Glue instead, although
QuickSight can do some
transformations
QuickSight Security
Multi-factor authentication on your account, VPC, Row
-level security, Private VPC access
QuickSight Security - VPC connectivity
Add QuickSight’s IP address range to your database security groups
QuickSight Security - Row
-level security
- New for 2021: Column
-level security too (CLS)
– Enterprise edition only
QuickSight Security - Private VPC access
Elastic Network Interface, AWS Direct Connect
QuickSight Security - Resource access
- Must ensure QuickSight is authorized to use Athena / S3 / your S3 buckets
- This can be managed within the QuickSight console (Manage Quicksight / Security & Permissions)\
QuickSight Security - Data access
Can create IAM policies to restrict what data in S3 given QuickSight users can access
Quicksight + Redshift: Security Default access
- By default Quicksight can only access data stored IN THE SAME REGION as the one Quicksight is running within
- So if Quicksight is running in one region, and Redshift in
another, that’s a problem
Quicksight + Redshift: Security - A VPC configured to work across AWS regions won’t work!
Solution: create a new security group with an inbound rule authorizing access from the IP range of QuickSight servers in that region
* Those ranges are documented at
https://docs.aws.amazon.com/quicksight/latest/user/regions.html
QuickSight User Management
- Users defined via IAM, or email signup
- Active Directory connector with QuickSight Enterprise
Edition - All keys are managed by AWS; you CANNOT use customerprovided keys
- Enterprise edition only!
- Can tweak security access using I
QuickSight Pricing - Annual subscription
- Standard: $9 / user /month * Enterprise: $18 / user / month
QuickSight Pricing - Extra SPICE capacity (beyond 10GB)
- $0.25 (standard) $0.38 (enterprise) / GB / user / month
QuickSight Pricing - Month to month
Standard: $12 / user / month
Enterprise: $24 / user / month
QuickSight Pricing - Enterprise edition
- Encryption at rest
- Microsoft Active Directory integration
QuickSight Dashboards
Read-only snapshots of an analysis
* Can share with others with Quicksight access
* Can share even more widely with embedded dashboards
* Embed within an application
* Authenticate with Active Directory / Cognito / SSO
* QuickSight Javascript SDK / QuickSight API
* Whitelist domains where embedding is allowed
Quicksight Machine Learning Insights
- ML-powered anomaly detection
- ML-powered forecasting
- Autonarratives
- Suggested Insights
Quicksight Q
- Machine learning
-powered - Answers business questions with
Natural Language Processing * “What are the top-selling items in Florida?” - Offered as an add-on for given regions
- Personal training on how to use it is required
- Must set up topics associated with datasets
- Datasets and their fields must be NLP - friendly
- How to handle dates must be defined
QuickSight Visual Types
- AutoGraph
- Bar Charts * For comparison and distribution (histograms)
- Line graphs * For changes over time
- Scatter plots, heat maps * For correlation
- Pie graphs, tree maps * For aggregation
- Pivot tables * For tabular data
Additional Visual Types
- KPIs
- Geospatial Charts (maps)
- Donut Charts
- Gauge Charts
- Word Cloud
Alternative Visualization Tools
- Web-based
visualizations tools
(deployed to the public) - Business Intelligence
Tools
O que é o QuickSight?
Serviço de análise que permite construção de visualizações , análises ad hoc, insights rápidos a partir dos dados a qualquer hora e em qualquer dispositivo, sem servidor.
Fontes de dados do QuickSight
- Redshift
- Aurora / RDS
- Athena
- Bancos de dados hospedados no EC2
- Arquivos (S3 ou no local)
- Excel * CSV, TSV
- Formato de log comum ou estendido
- A preparação de dados permite ETL limitado
O que é o SPICE
SPICE é um acrônimo para “Super-fast, Parallel, In-memory Calculation Engine” (Motor de Cálculo em Memória Super-rápido e Paralelo
Casos de uso do QuickSight
- Exploração ad hoc interativa/visualização de dados * Dashboards e KPIs * Analisar/visualizar dados de: * Logs no S3 * Bancos de dados locais * AWS (RDS, Redshift, Athena, S3) * Aplicativos SaaS, como Salesforce * Qualquer Fonte de dados JDBC/ODBC
Antipadrões do QuickSight
Relatórios prontos altamente formatados, ETL
Antipadrões de ETL no QuickSight
Em vez disso, use Glue, embora o QuickSight possa fazer algumas
transformações
Antipadrões de Relatórios prontos altamente formatados no QuickSight
QuickSight é para consultas ad-hoc, análise e visualização
Tópicos de Segurança do QuickSight
- Autenticação multifator
- Conectividade VPC
- Linha de nível de segurança
- Acesso VPC privado
Conectividade VPC no QuickSight
Adicione o intervalo de endereços IP do QuickSight a
seus grupos de segurança de banco de dados
Segurança em nível de linha no QuickSight
Novidade para 2021: Coluna
nível de segurança
também (CLS)
– Somente edição Enterprise
Acesso VPC privado no QuickSight
Interface de rede elástica, AWS Direct Connect
Segurança do QuickSight * Acesso a recursos
- Deve garantir que o QuickSight esteja autorizado a usar o Athena / S3 / seus buckets S3
- Isso pode ser gerenciado no console QuickSight (Gerenciar Quicksight / Segurança e Permissões)
Segurança do QuickSight acesso a dados
Pode criar políticas IAM para restringir quais dados no S3 forneceram QuickSight
os usuários podem acessar
Quicksight + Redshift: Segurança
- Por padrão, o Quicksight só pode acessar os dados armazenados NO
MESMA REGIÃO em que o Quicksight está sendo executado - Portanto, se o Quicksight estiver sendo executado em uma região e o Redshift em
outro, isso é um problema - Uma VPC configurada para funcionar em regiões da AWS não funcionará!
- Solução: crie um novo grupo de segurança com uma regra de entrada
autorizando o acesso do intervalo de IP dos servidores QuickSight
naquela região - Esses intervalos estão documentados em
https://docs.aws.amazon.com/quicksight/latest/user/regions.html
Gerenciamento de usuários do QuickSight
- Usuários definidos via IAM ou inscrição por e-mail
- Conector Active Directory com QuickSight Enterprise
Edição - Todas as chaves são gerenciadas pela AWS; você NÃO PODE usar as chaves fornecidas pelo cliente
- Somente edição Enterprise!
- Pode ajustar o acesso de segurança usando IAM, se necessário
Preço do QuickSight *
Assinatura anual quais as opções?
Padrão: $ 9 / usuário / mês * Empresa: $ 18 / usuário / mês *
Modelo de preço do QuickSight para SPICE
Capacidade extra do SPICE (além de 10 GB)
* $ 0,25 (standard)
* $ 0,38 (enterprise) / GB / usuário / mês
Preço do QuickSight
Mês a mês alternativas:
- Standard: US$12/usuário/mês
- Enterprise: US$24/usuário/mês
Vantagens da Edição Enterprise do QuickSight
*Criptografia em repouso
*Integração com o Microsoft Active Directory
Tipos de Insights de aprendizado de máquina do Quicksight
- Detecção de anomalias com tecnologia de ML
- Previsão baseada em ML
- Autonarrativas
- Sugestão de insights
Quicksight Q
- Alimentado por aprendizado de máquina
- Responde a perguntas de negócios com
Processamento de linguagem natural * “Quais são os itens mais vendidos na Flórida?” - Oferecido como um complemento para determinadas regiões
- Treinamento pessoal sobre como usá-lo é necessário
- Deve configurar tópicos associados a
conjuntos de dados - Conjuntos de dados e seus campos devem ser compatíveis com NLP
- Como lidar com as datas deve ser definido
Tipos visuais do QuickSight
- AutoGraph
- Gráficos de barra
- Para comparação e distribuição (histogramas)
- Gráficos de linhas
- Para mudanças ao longo do tempo
- Gráficos de dispersão, mapas de calor
- Para correlação
- Gráficos de pizza, mapas de árvore
- Para agregação
- Tabelas dinâmicas *
Para dados tabulares
Tipos Visuais Adicionais
- KPIs * Gráficos geoespaciais (mapas) * Gráficos de rosca * Gráficos de medidores * Nuvem de palavras
Ferramentas de visualização alternativas
- Baseado na Web
ferramentas de visualização
(implantado ao público) * D3.js * Chart.js * Highchart.js - Inteligência de Negócios
Ferramentas - Tableau * MicroStrategy
