Опции инструментов мониторинга платформы данных

Question

У нас есть aws конвейеры данных, имеющие различные компоненты, такие как Kinesis Lambda FireHose S3 DynamodB и EMR для искровых заданий. Нам необходимо внедрить систему мониторинга во всех этих компонентах, главным образом, отслеживая время обработки, затрачиваемое в каждой точке, и при наличии узких мест.

Может кто-нибудь подсказать, внедрили ли они такую ​​систему мониторинга. Меня больше интересует создание системы на основе прометея и графаны

Answer 1

Вы можете использовать экспортер Cloudwatch для передачи метрик на сервер Prometheus.

Существует 2 основных экспортера Cloudwatch:

• Экспортер Cloudwatch : «Официальный», написанный в Java. Основным недостатком является то, что он не реализует вызов API GetMetricsData, поэтому он может спровоцировать регулирование API, если в пространстве имен много ресурсов.
• Еще один экспортер Cloudwatch : он написан на go и реализует GetMetricsData, который позволяет выполнять до 500 запросов метрик за один вызов API.

В обоих случаях конфигурация схожа, и в репозиториях есть файлы конфигурации, доступные в качестве примеров.

AWS имеет возможность c об удобстве с использованием GetMetricsData вместо GetMetricStatistics .

Answer 2

Для ваших услуг AWS вы можете использовать CloudWatch и CloudTrail для мониторинга. Для Apache Spark вы также можете использовать Spark Web UI .