Kinesis Flashcards
IteratorAgeMilliseconds метрика
Что она значит технически?
Что она значит по сути?
Какое значение должно иметь в идеале?
Как прийти к идеальному значению?
Что это напоминает?
Kinesis Data Stream может слать в CloudWatch метрику IteratorAgeMilliseconds
IteratorAgeMilliseconds - это количество миллисекунд между
- моментом чтения последней записи из KDS
- текущим моментом времени
По сути IteratorAgeMilliseconds - это delay (lag)
В идеале IteratorAgeMilliseconds должен быть 0
Чтобы снизить повышенный IteratorAgeMilliseconds, нужно увеличить количество консюмеров.
Автоматизировать этот Scaling можно через CloudWatch Alarm → scale out действие
Больше консюмеров → быстрее обработка записей → ниже IteratorAgeMilliseconds
Напоминает метрику SQS QueueLength
В Kinesis Data Analytics есть 2 алгоритма для ML
- RANDOM_CUT_FOREST
- HOTSPOTS
Для чего они нужны?
Что такое dense?
Какой из них использует SQL функции из Kinesis Data Analytics?
Примеры?
RANDOM_CUT_FOREST алгоритм ОБНАРУЖИВАЕТ АНОМАЛИИ в цифровых данных в stream’е (исключительно большие/маленькие цифры в массиве)
RANDOM_CUT_FOREST использует SQL функции из Kinesis Data Analytics
Например, обнаружить аномальное количество велосипедистов во время городского марафона
HOTSPOTS алгоритм ОБНАРУЖИВАЕТ относительно ПЛОТНЫЕ участки точек в двоичной матрице
dense - плотный (участок в распределении точек)
