CloudWatch: Destinations, Agents, Metric Filters Flashcards
CloudWatch Logs Destinations. CloudWatch умеет слать логи в …
- S3
- Kinesis Data Streams
- Kinesis Data Firehose
- Lambda
- OpenSearch
Что такое CloudWatch S3 Batch Export? Это real-time или near-real-rime операция? Сколько времени она занимает?
Один из destination’ов для CloudWatch логов - это S3.
S3 Batch Export - это НЕ real-time и НЕ near-real-time операция.
Это долго.
Полный batch экспорт всех логов в S3 может занять до 12-ти часов.
Где может находится S3 бакет при использовании и S3 Batch Export? Как называется API операция?
S3 бакет может находиться в другом аккаунте. API операция CreateExportTask
Как обрабатывать CloudWatch логи real-time или near-real-time? Как называется эта технология? Куда можно слать логи?
Если нам нужно обрабатывать логи real-time, то нам НЕ подойдёт Batch Export.
Вместо этого нужно использовать CloudWatch Logs Subscription Filter.
Тогда можно будет слать CloudWatch Log Event’ы в Kinesis Data Streams, Firehose, Lambda для обработки.
Задача: организовать отправку CloudWatch логов в S3 near-real-time в S3. Какие AWS ресурсы нужно использовать?
CloudWatch => CloudWatch Logs Subscription Filter => Kinesis Data Firehose => S3
Для отправки CloudWatch логов в S3 используется именно …, потому что он …
Kinesis Data Firehose. Потому что это push-middle-war, основной destination которого - это S3.
S3 НЕ умеет pull’ить данные.
Задача: организовать отправку CloudWatch логов в S3 в real-time. Какие AWS ресурсы нужно использовать?
Через CloudWatch Subscription Filter для Kinesis Data Stream или Lambda.
Firehose НЕ подходит, т.к. он NEAR-real-time
Как организовать Cross Account (и Cross Region) Logs Aggregation? Собирать метрики из разных аккаунтов в одном центральном месте. Благодаря чему такое возможно?
Через CloudWatch Subscription для Kinesis Data Stream в определённом аккаунте.
Kinesis Data Streams имеют IAM Resource Based Policy,
сила которых в том, что они могут быть cross-account.
Разные CloudWatch из разных аккаунтов будут слать метрики в один Kinesis DS.
Какие бывают CloudWatch агенты? Для чего они могут использоваться?
- CloudWatch Logs Agent
- CloudWatch Unified Agent
Агенты могут быть использованы, чтобы слать метрики и логи из EC2 instanc’а в CloudWatch.
Как по-умолчанию шлёт логи EC2 instance в CloudWatch? Как можно это изменить?
Никак. По-умолчанию EC2 instance логи НЕ шлёт.
Чтобы слать логи из EC2 в CloudWatch, нужно запустить CloudWatch Агента на instanc’е.
Это программа, которая работает на сервере.
Как слать логи в CloudWatch из OnPremise сервера?
На on-premise сервер тоже можно уставить CloudWatch Logs агента.
Если EC2 instance НЕ шлёт логи в CloudWatch, то значит ему НЕ хватает …
- IAM роли, чтобы слать логи в CloudWatch.
- CloudWatch Logs Agent’а
Что общего у Logs Agent и Unified Agent?
Оба вида подходят для EC2 и On-Premise.
Оба вида умеют слать логи в CloudWatch Logs.
Что дополнительно умеет Unified Agent?
Unified Agent - это более новая продвинутая версия Logs Agent, которая позволяет слать больше метрик и слать их более гранулярно, детально.
- Не просто CPU, а active, idle
- Не просто Disk Space, а free, total
Какую фичу поддерживает Unified Agent, но НЕ поддерживает Logs Agent?
Unified Agent поддерживает фичу SSM Parameter Store для централизованного хранения конфигов.
CloudWatch Metric Filter нужен, чтобы ….
Для поиска текстовых паттернов в логах приложения и создания CloudWatch Alarm’а.
Что принципиально нового позволяет делать CloudWatch Metric Filter?
При помощи технологии CloudWatch Metric Filters
можно триггерить CloudWatch Alarm’ы НЕ только на основе CW метрик,
но и на основе CW логов.
Пример использования CloudWatch Metric Filter
Например,
- Metric Filter фиксирует, что за последние 5 минут слово “ERROR” было в логах 10 раз
- Metric Filter высылает CloudWatch Alarm в SNS. А тот отправляет email.
Что такое “retroactively” в контексте CloudWatch Metric Filter?
Созданный Metric Filter будет анализировать CloudWatch Event’ы, которые произошли ПОСЛЕ создания фильтра.
То есть Metric Filter фильтрует данные НЕ retroactively.
