Слоты задач Flink распределяются неравномерно при установке параллелизма оператора, превышающего параллелизм по умолчанию

Question

Я выполняю задание Flink в кластере, содержащем 3 менеджера задач (поверх 3 модулей Kubernetes).Параллелизм задания по умолчанию равен 9, а один из операторов настроен на параллелизм 18. Номер задания для слота задачи установлен на 18 (наибольшее значение параллелизма).

Наблюдаю следующее поведение:

Оператор, установленный на параллелизм 18, равномерно распределяется между всеми слотами задач.

Все остальные операторы (по умолчанию - 9) не распределены одинаково.Например:

• TM1: выполнение 2 подзадач
• TM2: выполнение 5 подзадач
• TM3: выполнение 2 подзадач

Может ли кто-нибудь объяснить следующее:

• Чем обусловлено это неравномерное распределение?
• Могу ли я контролировать назначение оператора, чтобы оно было сбалансированным?как я могу это сделать?

(работает с Flink v1.6.3)

Answer 1

В настоящий момент Flink не поддерживает управление распределением задач по различным TaskManagers. Flink предполагает, что все слоты равны, и поэтому не пытается распределить задачи равномерно. Однако сообщество хочет добавить эту функциональность. Вот соответствующая проблема .