SQS vs SNS vs Kinesis Data Streams

Question 1

Разница между SQS, SNS, Kinesis DS. Кто push, кто pull?

Answer 1

• SQS Consumer’ы pull’ят данные
• SNS сервис push’ит данные каждому Subscriber’у. Pub/Sub
• Kinesis Standard Mode: Consumer’ы pull’ят данные из сервиса (2 MB/sec per shard на всех).
• Kinesis Enhanced Mode: сервис push’ит данные в Consumer’ы (2 MB/sec per shard каждому consumer’у)

Question 2

Разница между SQS, SNS, Kinesis DS. Кто и как долго хранит данные?

Answer 2

• SQS Данные хранятся (persisted) в сервисе. Consumer должен удалить данные, после того, как обработал их
• SNS Данные НЕ сохраняются в сервисе после отправки. Их можно утратить
• Kinesis Данные хранятся (persisted) в сервисе. Возможность replay’ить данные.

Question 3

Разница между SQS, SNS, Kinesis DS. Как обеспечен Ordering?

Answer 3

• SQS Ordering обеспечен только в FIFO
• SNS Ordering обеспечен только в FIFO
• Kinesis Ordering обеспечен только в рамках шарда.

Question 4

Разница между SQS, SNS, Kinesis DS. Какой Retention данных?

Answer 4

• SQS retention max 14 days
• SNS данные вообще НЕ хранятся
• Kinesis retention 1-365 дней.

Question 5

Разница между SQS, SNS, Kinesis DS. Managed / Not Managed Service?

Answer 5

• SQS, SNS Managed сервис. Нам не нужно указывать throughput. Автоматическое масштабирование.
• Kinesis DS Provisioned Capacity - НЕ Managed сервис. Нам нужно указывать число шардов самим.
• Kinesis DS On-Demand Capacity - Managed сервис. Сервис сам решает, сколько ему нужно шардов.

Question 6

Разница между SQS, SNS, Kinesis DS. Колличество консюмеров?

Answer 6

• SQS НЕ ограниченное число Consumer’ов для одной SQS очереди
• SNS Максимум 12_500_000 subscriber’ов на один топик
• Kinesis НЕ ограниченное число Consumer’ов для каждого шарда, SHARED и ENHANCED моды

Question 7

Что такое managed service?

Answer 7

сервис, который масштабируется автоматически, в котором нам НЕ нужно руками обновлять его capacity для повышения throughput