Запуск нескольких программ Flink в автономном кластере Flink (v1.4.2) - PullRequest
0 голосов
/ 12 июня 2018

У меня есть автономный кластер Flink на основе Flink 1.4.2 (1 менеджер заданий, 4 слота задач) и я хочу отправить две разные программы Flink.Не уверен, что это вообще возможно, поскольку некоторые архивы Flink говорят, что менеджер заданий может выполнять только одно задание.Если это правда, какие-нибудь идеи, как я могу обойти эту проблему?Для кластера Flink доступна только одна машина, и мы не хотим использовать какой-либо менеджер ресурсов, такой как Mesos или Yarn.

Есть подсказки?

1 Ответ

0 голосов
/ 12 июня 2018

Задания (программы) Flink запускаются в слотах задач, расположенных в диспетчере задач.Предполагая, что у вас есть 4 слота для задач, вы можете запустить до 4 программ Flink.Кроме того, будьте осторожны с параллелизмом ваших заданий Flink.Если вы установили параллелизм на 2 в обоих заданиях, тогда yes 2 - это максимальное количество заданий, которое вы можете запустить в 4 слотах заданий.Каждый параллельный экземпляр выполняется в слоте задачи.

Проверьте этот образ: https://ci.apache.org/projects/flink/flink-docs-master/fig/slots_parallelism.svg

...