Как получить метрики всех параллелизмов во Флинке?

Question

В веб-интерфейсе Flink я могу получить метрики каждого параллелизма,

для параллелизма 0, ему нравится:

0_filter_numberOfRecords in 

для параллелизма 9, ему нравится:

9_filter_numberOfRecords in 

Как получить одинаковую метрику всего параллелизма?

Answer 1

Вы можете получить агрегированные метрики, напрямую запросив конечную точку отдыха Флинка. Вам нужна следующая информация:

1. Идентификатор задания jobId с указанием задания, к которому принадлежит оператор, который вы хотите запросить
2. Идентификатор вершины vertexId, идентифицирующий оператора, из которого вы хотите получить метрики

jobId можно получить, запросив http://flink_cluster:port/jobs.

vertexId можно получить, запросив http://flink_cluster:port/jobs/:jobId, который предоставляет информацию о работе (список операторов с их идентификаторами вершин).

Получив необходимые идентификаторы, вы можете отправить запрос GET по адресу:

http://flink_cluster:port/jobs/:jobId/vertices/:vertexId/subtasks/metrics?get=filter.numberOfRecords

Пожалуйста, замените :jobId и :vertexId на соответствующие идентификаторы.

Если вы хотите агрегировать показатели по поддиапазону подзадач, вы можете изменить свой запрос на subtasks/metrics?get=filter.numberOfRecords&subtasks=0-1,4-5, чтобы указать подзадачи для включения в агрегацию.