Kinesis Data Streams Flashcards
одновременно на 1 Kinesis шард для чтения
10 батчей
API операция, которую вызывают Consumer’ы при Enhanced режиме
SubscribeToShard
данных можно читать из 1 Kinesis шарда
2 MB/sec или 2_000 records
- при Shared режиме - это общий лимит для всех consumer’ов этого шарда
- при Enhanced режиме - это личный лимит для каждого consumer’а этого шарда
сервисы, устроеные по принципу Java HashMap
SQS, SNS, Kinesis Data Streams, DynamoDB, Kafka
данных можно писать в 1 Kinesis шард
1 MB/sec или 1_000 records/sec
API операция, которую вызывают Consumer’ы при Shared режиме
GetRecord
принцип работы Kinesis при выборе Shared Mode
PULL
режимы настройки Kinesis’а
Consumer Modes (Shared, Enhanced), Capacity Modes (Provisioned, On-Demand)
принцип работы Kinesis при выборе Enhanced Mode
PUSH
capacity режим, где автоматически масштабируются шарды Kinesis
On-demand Mode
capacity режим, где руками мы выбираем количество шардов Kinesis
Provisioned Mode
лимиты Provisioned режима
1 MB/sec write, 2 MB/sec read данныз в 1 Kinesis шард
лимиты On-Demand режима
в 4 раза выше по-умолчанию, в 200 раз выше максимально
то, чем ограничено множество KCL Consumer’ов
множество шардов
паттерн, который реализует Kinesis Data Stream в режиме Enhanced Mode
SQS+SNS FanOut