Интерфейс Flink Web: Мониторинг показателей не работает - PullRequest
1 голос
/ 25 октября 2019

работает с flink-1.9.0 на пряже (2.6.0-cdh5.11.1), но метрики веб-интерфейса flink не работают, как показано ниже:

here

1 Ответ

0 голосов
/ 25 октября 2019

Полагаю, вы смотрите на неправильные метрики. Из-за отсутствия потоков данных от одной задачи к другой (вы можете видеть только один блок в пользовательском интерфейсе) нечего показывать. Метрики, которые вы просматриваете, показывают только те данные, которые перетекают из одной задачи на другую. На вашем примере все происходит внутри этой задачи.

Посмотрите на этот пример:

map operation

Вы можете видеть две задачи, отправляющие данные в карту-задачу, которая отправляет эти данные другойзадача. Поэтому вы видите входящие и исходящие данные.

Но с другой стороны исходная задача никогда не имеет входящих данных (я должен признать, что на первый взгляд это сбивает с толку):

Source task

Количество полученных записей равно 0, но оно отправляет несколько записей в последующую задачу.

Возвращаясь к вашей проблеме: вы можете взглянуть наметрика оператора. Если вы посмотрите на вкладку метрик (та, что справа), вы можете выбрать рядом с метриками задачи также некоторые метрики операторов. Эти метрики имеют имя типа 0.Map.numRecordsIn.

Название собирается следующим образом <slot>.<operatorName>.<metricsname>. Но имейте в виду, что эти метрики не записываются, у вас нет исторических данных, и как только вы покинете эту вкладку или удалите метрику, данные, собранные до тех пор, пока эта точка не исчезнет. Я бы порекомендовал использовать надлежащие метрики бэкэнда, такие как приток, прометей или графит. Вы можете найти описание в flink docs .

Надеюсь, что помогло.

...