Как контролировать обратное давление Flink в Grafana с помощью метрик Прометея

Question

Flink Web UI имеет блестящую секцию противодавления. Но я не вижу никаких метрик, предоставленных репортером Prometheus, которые можно было бы использовать для обнаружения противодавления таким же образом для панели управления Grafana.

Есть ли способ получить те же показатели за пределами веб-интерфейса Flink? Используя метрики, описанные здесь https://ci.apache.org/projects/flink/flink-docs-stable/monitoring/metrics.html. Или даже наличие скребка для прометея для очистки веб-интерфейса?

Answer 1

Мониторинг противодавления, отображаемый на информационной панели Flink, не использует систему метрик, поэтому эти значения недоступны через MetricsReporter. Но вы можете получить доступ к этой информации через REST API в

/jobs/:jobid/vertices/:vertexid/backpressure

Хотя этот механизм обнаружения обратного давления полезен, он имеет свои ограничения. Это работает, вызывая Thread.getStackTrace (), который является дорогим, и некоторые операторы (такие как AsyncFunction) выполняют критические действия в потоках, которые не отбираются.

Другой способ исследовать противодавление - установить этот параметр конфигурации в flink-conf.yaml

taskmanager.network.detailed-metrics: true

и затем вы можете посмотреть на показатели, измеряющие длину очереди входящих / исходящих сетей.