Kinesis Data Streams

Question 1

Как связаны Partition Key и Shard в Kinesis? Чего больше?

Answer 1

Номер Шарда определяется в результате выполнения хэш-функции от Partition Key. Партишен Ключей может быть 5, а шардов 3. Пять грузовиков, три Шарда, Partition Key = ID грузовика.

Question 2

Как может происходить коллизия с Partition Key и Shard в Kinesis?

Answer 2

Все записи с одинаковым Партишен Ключом ОБЯЗАТЕЛЬНО попадут в один и тот же Шард. Но один и тот же Шард может содержать НЕ только записи с одним и тем же Партишен Ключом.

Question 3

Как называются единицы ресурса в Kinesis?

Answer 3

Streams

Question 3

Каждый record в Kinesis состоит из …

Answer 3

partition key, data blob, sequence number

Question 4

Kinesis Data Stream делится на …, и чем их больше, тем …

Answer 4

шарды, выше ingestion-consumption rate и выше цена

Question 5

В SQS есть сообщения, а в Kinesis …

Answer 5

records

Question 6

Поле “sequence number” обозначает …, а поле “partition key” используется для …

Answer 6

номер шарда в Kinesis Stream’е, используется как входной параметр хэш функции для вычисления номера шарда

Question 7

Поле “sequence number” в отличие от “partition key” и “data blob” …, потому что …

Answer 7

появляется только после консюминга сообщения, потому что номер шарда вычисляется по партишен ключу (через хэш функцию).

Question 8

Что такое KPL, KCL?

Answer 8

Kinesis Producer Library, Kinesis Consumer Library. это более advanced библиотека, построенная на основе SDK

Question 9

Что такое Retention? Какой он в SQS? Какой он в Kinesis?

Answer 9

Retention Period - это период хранения сообщений/record’ов в очереди/data-stream’е. В SQS он по-умолчанию 4 дня, максимум 14 дней. В Kinesis 1 day - 365 days

Question 10

Что такое Immutability данных в Kinesis? Как это устроено в SQS?

Answer 10

данные, попавшие в Kinesis, нельзя удалить (не считая того, что у них есть retention period). В SQS - наоборот, каждый консюмер подчищает за собой прочитанные данные после обработки.

Question 11

В Kinesis работает формула: hashFunction(…) = …

Answer 11

partition key, shard number (sequence number)

Question 12

Какие Security фичи есть в Kinesis Data Streams? Что это напоминает?

Answer 12

Есть IAM Resource Based Policies и Encryption (at rest SSE, in transit SSL/TLS, client-side). Напоминает S3, SQS, SNS.

Question 13

Что такое “Hot Partition Key”? В чём его проблема? От чего он возникает?

Answer 13

Один из шардов может быть переполнен (overwhelmed). Причина - НЕ равномерное распределение (distribution) partition ключей. Проблема - НЕ оптимально организованная работа Kinesis Stream’а.

Question 14

Какие варианты SSE шифрования есть в Kinesis?

Answer 14

At rest SSE через KMS.

Question 15

По-умолчанию другие сервисы (например EC2) шлют сообщения в Kinesis по … подсети. Но если ресурс находится в … подсети, то можно использовать …, чтобы …

Answer 15

публичной, приватной, использовать VPC endpoint, чтобы НЕ слать данные через публичную сеть интернет

Question 16

Как связаны KCL и шарды?

Answer 16

Kinesis Client Library может быть реализована Consumer Instanc’ом. KCL instance может читать данные из НЕСКОЛЬКИ Шардов. Но из одного Шарда может читать данные ТОЛЬКО ОДИН KCL instance.

Question 17

Для чего KCL instanc’у может подадобиться доступ к DynamoDB

Answer 17

чтобы писать туда данные о курсоре (каретке)

Question 18

Как произвести масштабирование Kinesis Data Stream’а для повышения его производительности? Какие минусы?

Answer 18

Shard Splitting разделение одного из шардов на два. Повышение цены, ведь платим мы за каждый шард.

Question 19

Какой шард предпочтительно выбирать для Shard Splitting’а? На сколько частей можно разделить Шард?

Answer 19

Hot Shard. За один раз можно разделить только на ДВЕ части.

Question 20

Как произвести де-масштабирование? Зачем?

Answer 20

Shard Merging сливание двух шардов в один. Чтобы сэкономить деньги, ведь мы платим за каждый Шард.

Question 21

В Kinesis Data Stream’е было 10 шардов. После этого произвели Shard Splitting. На сколько возрасла производительность?

Answer 21

Стало 11 шардов. На 10%. На 1 MB/s для записи и на 2 MB/s для чтения.