flink web.port не может быть правильно настроен в режиме пряжи

Question

Я хочу получать информацию о метриках flink через REST api, мой flink управляется YARN, но после изменения конфигурации web.port в flink-conf.yaml изменения не влияют, а web.port в панели мониторинга flinkвсегда равен 0. Поэтому я не могу получить информацию о метриках флинка через API REST.

Среда: Ubuntu 16.04 openjdk-8 hadoop 2.7.1.2.3.6.0-3796 flink 1.4.0

Answer 1

При запуске Flink на Yarn, Flink выберет произвольный порт (0) для веб-интерфейса, чтобы избежать конфликтов портов с другими приложениями, работающими на той же машине.

Для доступа к веб-интерфейсу Flink вы можете запросить прокси-сервер веб-приложения Yarn (YarnResourceManagerURL/proxy/application_/...).Но имейте в виду, что только приложения GET правильно перенаправляются в приложение Yarn.

Кроме того, Flink регистрирует URL-адрес веб-интерфейса пользователя в stdout при запуске сеанса Yarn.Кроме того, вы можете извлечь выбранный порт из файлов журнала.В более новых версиях (> = 1.5) Flink будет регистрировать Rest endpoint listening at hostname:port на уровне INFO, а в более старых версиях (<= 1.4 или в устаревшем режиме) Flink будет регистрировать <code>Web frontend listening at hostname:port.