Apache Flink количество менеджеров задач в локальном режиме - PullRequest
Новая
       7

Apache Flink количество менеджеров задач в локальном режиме

0 голосов
/ 11 июня 2018

Я работаю над потоковым приложением на основе Apache Flink (1.5.0).В рамках этого я запустил Flink в локальном режиме на моей машине с Windows.

Чтобы выполнить свою работу со степенью параллелизма 8, мне нужно 8 диспетчеров задач, обеспечивающих один слот задач каждый.

Я добавил диспетчер задач с помощью следующей команды: 

/cygdrive/b/Binaries Flink/flink-1.5.0/bin/taskmanager.sh' start

Первые несколько раз диспетчер задач успешно добавлялся со следующим сообщением: 

[INFO] 3 instance(s) of taskexecutor are already running on ... .
Starting taskexecutor daemon on host ... .

После 5 менеджеров задач былидоступно Я получил то же сообщение 

[INFO] 5 instance(s) of taskexecutor are already running on ... .
Starting taskexecutor daemon on host ... .

Проблема в том, что шестой диспетчер задач не создается.Когда я останавливаю один диспетчер задач, он падает до 4, я могу добавить один дополнительный диспетчер задач, но не более 5 диспетчеров задач.

Есть ли какие-либо ограничения на количество диспетчеров задач?Кто-нибудь испытывал подобное поведение?

Большое спасибо

1 Ответ

0 голосов
/ 12 июня 2018

Нет ограничений на количество TaskManager, которое вы можете начать локально.Единственным ограничением являются доступные ресурсы на вашем локальном компьютере.

Если вы используете автономный режим в Flink 1.5.0, то вы также можете установить количество слотов на TaskManager на 7добавив следующую строку в flink-conf.yaml: 

taskmanager.numberOfTaskSlots: 7
...