Kinesis

Question 1

IteratorAgeMilliseconds метрика
Что она значит технически?
Что она значит по сути?
Какое значение должно иметь в идеале?
Как прийти к идеальному значению?
Что это напоминает?

Answer 1

Kinesis Data Stream может слать в CloudWatch метрику IteratorAgeMilliseconds

IteratorAgeMilliseconds - это количество миллисекунд между
- моментом чтения последней записи из KDS
- текущим моментом времени

По сути IteratorAgeMilliseconds - это delay (lag)
В идеале IteratorAgeMilliseconds должен быть 0

Чтобы снизить повышенный IteratorAgeMilliseconds, нужно увеличить количество консюмеров.
Автоматизировать этот Scaling можно через CloudWatch Alarm → scale out действие
Больше консюмеров → быстрее обработка записей → ниже IteratorAgeMilliseconds
Напоминает метрику SQS QueueLength

Question 2

В Kinesis Data Analytics есть 2 алгоритма для ML
- RANDOM_CUT_FOREST
- HOTSPOTS

Для чего они нужны?
Что такое dense?
Какой из них использует SQL функции из Kinesis Data Analytics?
Примеры?

Answer 2

RANDOM_CUT_FOREST алгоритм ОБНАРУЖИВАЕТ АНОМАЛИИ в цифровых данных в stream’е (исключительно большие/маленькие цифры в массиве)
RANDOM_CUT_FOREST использует SQL функции из Kinesis Data Analytics
Например, обнаружить аномальное количество велосипедистов во время городского марафона

HOTSPOTS алгоритм ОБНАРУЖИВАЕТ относительно ПЛОТНЫЕ участки точек в двоичной матрице
dense - плотный (участок в распределении точек)