DataAnalytics: Parquet, OpenSearch, Redshift, EMR, Hive, Glue, Lake Formation, QuickSite, Kinesis Analytics, Firehose, MSK

Question 1

Athena,Parquet, CSV

Answer 1

Serverless сервис для анализа данных в S3 через SQL запросы.

Parquet - это columnar формат данных
Он лучше (чем CSV) для оптимизации запросов Athena

Question 2

OpenSearch,Комплимент, SQL совместимость

Answer 2

Managed service для ElasticSearch

“Комплимент” к основной БД (даже к DynamoDB/CloudWatch добавляют)

Индексация данных для полнотекстового поиска
НЕ SQL-совместимая (но есть плагин)

Question 3

Redshift сравнение с Postgres, Athena

Answer 3

Анализ данных в data-warehouse, data-lake
На базе Postgres, но НЕ БД, а analytical processing
Умеет в disaster recovery через Multi-AZ и Snapshots (как RDS)

‼️ Похожа на Athena, но лучше, сложнее, дороже
- данные нужно заранее загрузить в Redshift (а в Athena - не нужно)
- данные могут быть НЕ только из S3
- SQL запросы выполняются быстрее, благодаря индексам БД

Question 4

Amazon EMR

Answer 4

EMR (Elastic MapReduce)
Managed сервис для Hadoop кластера (BigData)

Поддерживает Apache Spark, Flink, Apache Presto, Hive, HBase

Question 5

Hive

Answer 5

data-warehouse приложение для Hadoop
Hive предоставляет SQL-like язык HiveSQL
позволяет работать с данными, хранимыми в Amazon EMR или DynamoDB

Question 6

Glue,Parquet

Answer 6

Serverless сервис для ETL jobs
Может перекачать данные в другой бакет, изменив их формат

Parquet - это columnar формат данных
Он лучше (чем CSV) для оптимизации запросов Athena

📗 Glue Job Bookmark - prevent re-processing old data

Question 7

Lake Formation

Answer 7

Managed Service для быстрого создания Data Lake’ов
Lake Formation fine-grained access control

Question 8

QuickSite, SPICE Engine

Answer 8

Serverless ML-powered сервис для UI dashboards для Business Intelligence задач
Интегрирован с RDS, Athena, Reshift, S3

SPICE Engine - in-memory computation для данных, которые загрузили в QuickSite

Question 9

Kinesis Data Analytics

Answer 9

Managed сервис для
- SQL базы данных
- Apache Flink

real-time аналитика, если source - это Kinesis Data Stream

Question 10

MSK

Answer 10

Managed Service для Kafka

✅ Kafka НЕ имеет ограничения на размер сообщения.
Kinesis имеет лимит 1 MB

✅ Kafka НЕ имеет ограничения на retention сообщений.
Kinesis имеет лимит 1 год

❌ Kafka НЕ умеет делать scale down.
Kinesis умеет делать Shard Merging.

Question 11

Firehose

Answer 11

near-real-time (1 min)
данные - логи
пушит в S3 (Redshift, OpenSearch, Splunk, custom HTTP)
managed, no custom code
PUSH механизм => no data-retention, no data-replay