почему при запуске используется столько ТМ, сколько по умолчанию используется параллелизм

Question

Если я установлю номер ТМ = 6, номер слота каждый ТМ = 8, память каждого ТМ = 4G, задание будет применять 48 ТМ и использовать только один слот каждый, общее использование памяти составит 192 ГБ. Через несколько минут он выпустит 40TMs, все будет нормально.

Есть ли какая-то причина по этому поводу?

Answer 1

Начиная с Flink 1.5, в Yarn не поддерживаются менеджеры задач с несколькими слотами (используется режим выполнения по умолчанию).См. примечания к выпуску для получения более подробной информации.

Вы все еще можете использовать Flink с устаревшей средой выполнения, настроив mode: legacy.