Kinesis Data Streams (продюссеры, консюмеры)

Question 1

Что может быть продюссером сообщений?

Answer 1

Приложения, использующие SDK, KPL, Kinesis Agent

Question 2

Какую API операцию вызывает продюссер в Kinesis?

Answer 2

PutRecord API

Question 3

Producer’ы могут слать данные в Kinesis с ограничениями. Каковы эти лимиты?

Answer 3

1 MB/sec per shard, 1_000 records/sec per shard

Question 4

Если шардов 6, то всего (overall) в Kinesis можно слать до …

Answer 4

до 6 MB/sec или до 6_000 records/sec

Question 5

В чём отличие batching операции в Kinesis и в SQS?

Answer 5

Kinesis может использовать батчинг для отправки сообщений (PutRecord API). А SQS - только для консюминга.

Question 6

Что такое ProvisionedThroughputExceed?

Answer 6

ошибка, которую мы получим, если превысим write-rate (лимит отправки сообщений).

Question 7

Как справиться с ProvisionedThroughputExceed?

Answer 7

Есть три способа. Выровнять распределение Partition Ключей (high distribution). Использовать retry-механизм с exponential backoff’ом. Увеличить число шардов (scale shards)

Question 8

Что может быть консюмером сообщений?

Answer 8

Приложения, использующие SDK, KCL, Lambda, Kinesis Data Firehose, Kinesis Data Analytics

Question 9

Какую API операцию вызывает консюмер в Kinesis?

Answer 9

GetRecord API или SubscribeToShard API

Question 10

В чём отличие GetRecord API и SubscribeToShard API?

Answer 10

При GetRecord API консюмер стягивает (poll) рекорды из Шарда. При SubscribeToShard API Шард пушит (push) рекорды в консюмер.

Question 11

Какие бывают Consumer Modes?

Answer 11

SHARED (classic) moed и ENHANCED mode

Question 12

Как устроен SHARED (classic) Consumer Mode? Что на самом деле шарится между консюмерами?

Answer 12

На самом деле нужно акцентировать внимание на том, что между консюмерами шарится НЕ Шард, а именно Throughput Rate. Чем больше Consumer’ов читает один шард, тем меньше у каждого из них throughput limit.
Хотя, понятное дело, речь идёт о нескольких консюмерах, которые читают (шарят друг с другом) один и тот же Шард.

Question 13

Каковы лимиты SHARED (classic) Consumer Mode? Какую API операцию используют?

Answer 13

2 MB/sec per shard на ВСЕХ Consumer’ов. GetRecord API.

Question 14

Как устроен ENHANCED Consumer Mode?

Answer 14

Как и в SHARED (classic) режиме, несколько консюмеров получают данные из одного шарда. Но Throughout Limit НЕ делится между консюмерами. Он персональный у каждого из них. Этот режим более дорогой и более мощный.

Question 15

Каковы лимиты ENHANCED Consumer Mode? Какую API операцию используют?

Answer 15

2 MB/sec per shard для КАЖДОГО Consumer’а. SubscribeToShard API.

Question 16

За счёт чего получается сделать независимый throughput у ENHANCED Consumer mode?

Answer 16

за счёт операции SubscribeToShard, которая заставляет Шард ПУШИТЬ сообщения в каждый консюмер, а НЕ наоборот.

Question 17

Kinesis Data Streams - это Push модель или Pull модель?

Answer 17

зависит от выбранного Consumer Mode. Если SHARED (classic) mode, то это GetRecords API и PULL модель с общим для ВСЕХ консюмеров throughput’ом. Если ENHANCED mode, то это Subscribe API и PUSH модель с индивидуальным для КАЖДОГО консюмера throughput’ом.

Question 18

Каков latency для SHARED (classic) mode? Каков для ENHANCED?

Answer 18

200мс, 70мс

Question 19

Каков лимит на количество GetRecord операций при SHARED (classic) mode?

Answer 19

5

Question 20

Каков лимит на количество читаемых данных при SHARED (classic) mode?

Answer 20

5 GetRecord операций умножаем на 2 MB за одну GetRecord операцию. Получаем 10 MB/s лимит. Или 10к записей в секунду лимит.

Question 21

Как выбрать Consumer Mode?

Answer 21

ENHANCED более дорогой, но максимально производительный. Push модель.

Question 22

Можно ли читать данные батчами в Kinesis? А писать? Каков лимит по батчам для консюминга?

Answer 22

Да, можно и читать и писать батчами. До 10-ти батчей на шард одновременно.