Flink TaskManager не запускается, пока задание не будет отправлено в кластер YARN - PullRequest
0 голосов
/ 21 сентября 2018

Я использую Amazon EMR для запуска Flink Cluster на YARN.Моя установка состоит из экземпляров m4.large для 1 главного и 2 основных узлов.Я запустил Flink CLuster на YARN с помощью команды: flink-yarn-session -n 2 -d -tm 4096 -s 4.

Запущены диспетчер заданий Flink и диспетчер приложений, но не запущены диспетчеры задач.Веб-интерфейс Flink отображает 0 для менеджеров задач, доступных слотов задач и слотов.Однако, когда я отправляю задание на кластер Flink, тогда назначаются менеджеры задач, и задание запускается, и веб-интерфейс показывает правильные значения, как и ожидалось, и возвращается к 0 после завершения задания.

Я хотел бы, чтобы менеджеры задачзапускаться, даже если задание не отправлено, поскольку я хочу использовать REST API Flink для мониторинга и изменения параллелизма на основе значения доступных слотов.

Есть ли пропущенная конфигурация, которая не позволяет менеджерам задач работать постоянно?

1 Ответ

0 голосов
/ 04 октября 2018

Поведение Флинка было изменено в FLIP-6 для обеспечения динамического распределения ресурсов.Начиная с версии Flink 1.5.0, можно поместить mode: legacy в flink-conf.yaml, чтобы запустить Flink в старом режиме, где менеджеры задач будут запускаться вместе с диспетчером заданий.

...