Автоматическое масштабирование Flink и максимальный параллелизм

Question

Цитата из Javadoc на StreamExecutionEnvironment.setMaxParallelism: Максимальная степень параллелизма определяет верхний предел для динамического масштабирования.

Какое именно динамическое масштабирование подразумевается здесь? Я не смог найти никаких эмпирических доказательств автоматического масштабирования оператора: сколько бы у вас ни было свободных слотов, независимо от того, насколько велико maxParallelism и сколько там логических разделов, фактический параллелизм (согласно веб-интерфейсу) равен всегда тот, который был установлен через a setParallelism

Кроме того, в соответствии с этим самый принятый и никогда не оспариваемый ответ https://stackoverflow.com/a/43493109/2813148 во Flink нет такого понятия, как динамическое масштабирование.

Так есть ли? Или Javadoc вводит в заблуждение (или что там означает "динамический")? Если нет, есть ли планы по этой функции?

Answer 1

Flink (в версии 1.5.0) пока не поддерживает динамическое масштабирование.

Однако задание можно масштабировать вручную (или с помощью внешней службы), взяв точку сохранения , остановив запущенное задание и перезапустив задание с настроенным (меньшим или большим) параллелизмом. Тем не менее, новый параллелизм может быть не более ранее настроенным максимальным параллелизмом. После запуска задания максимальный параллелизм запекается в точках сохранения и больше не может быть изменен.

Поддержка динамического масштабирования включена в план. Начиная с версии 1.5.0 (выпущенной в мае 2018 года), Flink поддерживает динамическое распределение ресурсов от менеджеров ресурсов, таких как Yarn и Mesos. Это важный шаг к динамическому масштабированию. Фактически, экспериментальная версия этой функции была продемонстрирована на Flink Forward SF 2018 в апреле 2018 года.