Flink: как параллелизм, установленный в пользовательском интерфейсе Jobmanager, связан со слотами задач?

Question

Допустим, у меня есть 8 диспетчеров задач с 16 слотами для задач.Если я отправляю задание с помощью пользовательского интерфейса Jobmanager и устанавливаю параллелизм на 8, могу ли я использовать только 8 слотов задач?

Что если у меня есть 8 диспетчеров задач с 8 слотами, и я отправляю ту же работу с параллелизмом8?Это точно то же самое?Или есть разница в способе обработки данных?

Спасибо.

Answer 1

Общее количество слотов задач в кластере Flink определяет максимальный параллелизм, но количество используемых слотов может превышать фактический параллелизм.Рассмотрим, например, это задание:

При выполнении с параллелизмом два в кластере с 2 менеджерами задач, каждый из которых предлагает 3 слота, планировщикбудет использовать 5 слотов задач, например:

Однако, если базовый параллелизм увеличен до шести, планировщик сделает это (обратите внимание, чтов этом примере приемник остается параллельным единице:

См. Распределенная среда выполнения Flink для получения дополнительной информации.