Flink 1.3 запускает одно задание на YARN, как установить количество слотов задач на TaskManager

Question

Я выполняю одно задание Flink на Yarn, как описано здесь .

flink run -m yarn-cluster -yn 3 -ytm 12000

Я могу установить количество узлов пряжи / диспетчеров задач с помощью указанного выше параметра -yn. Однако я хочу знать, возможно ли установить количество слотов задач на диспетчер задач . Когда я использую параметр параллелизма (-p), он устанавливает только общий параллелизм. А количество временных интервалов задач вычисляется путем деления этого значения на количество предоставленных менеджеров задач. Я попытался использовать параметр динамических свойств (-yD), который должен «позволять пользователю указывать дополнительные значения конфигурации», например:

 -yD -Dtaskmanager.numberOfTaskSlots=8

Но это не перезаписывает значение, указанное в flink-conf.yaml. Есть ли способ указать количество слотов задач на TaskManager при запуске одного на лету (кроме изменения файла конфигурации)? Также есть документация, какие динамические свойства допустимы с использованием параметра -yD?

Answer 1

Вы можете использовать настройки сеанса yarn, здесь , с префиксом y, чтобы отправить задание Flink на кластер YARN. Например, команда

flink run -m yarn-cluster -yn 5 -yjm 768 -ytm 1400 -ys 2 -yqu streamQ my_program.jar

отправит my_program.jar приложение Flink с 5 контейнерами , 768m памятью для jobmanager , 1400m памятью и 2 ядром процессора для менеджеры задач , каждый из которых будет использовать ресурсы менеджеров узлов в предопределенной очереди YARN streamQ. Смотрите мой ответ на этот пост для другой важной информации.