Недавно я обновил свой airflow.cfg, чтобы включить метрики, по мнению Statsd.
Я ввел эти настройки в airflow.cfg:
Я ввожу эту конфигурацию:
AIRFLOW__SCHEDULER__STATSD_ON=True
AIRFLOW__SCHEDULER__STATSD_HOST=HOSTNAME
AIRFLOW__SCHEDULER__STATSD_PORT=9125
AIRFLOW__SCHEDULER__STATSD_PREFIX=airflow
Я не использую стандартную службу Statsd, но Statsd-экспортер , которая использует протокол Statsd, поэтому, насколько я знаю, я могу напрямую указать Airflow для отправки метрик в Stats-экспортер. По умолчанию работает на порту 9125.
После того, как Statsd-экспортер получает метрики, Прометей может регулярно их просматривать.
Все хорошо, все хорошо. Более того, я сделал свой файл сопоставления для Statsd-exporter, где я использую немного регулярных выражений, но .... моя проблема в том, что когда я открываю WEB UI Statsd-exported (порт 9102), я вижу часть метрик Airflow, но не все !.
Документация говорит о списке метрик здесь
Например, я вижу, что Airflow отправляет: ti_failures, ti_successes, dagbag_size и т. Д. Но таких метрик как: dag ... duration или executor.open_slots и пары других нет.
Действительно большое спасибо всем, кто когда-либо играл со Statsd и Airflow, поскольку я понятия не имею: (