Ниже приведен слайд об оптимизаторе Флинка из моей презентации, которую я смотрел.Меня особенно смущает комментарий о том, что Оптимизатор Флинка принимает решение о параллелизме в зависимости от количества элементов предоставленного набора данных.
В настоящее время я прохожу Flink 1.4 (версия, которую яиспользуя) документацию, и я не могу найти никакой документации относительно решения Флинка о параллелизме. Нужно ли предоставлять оптимизатору Flink статистику о наборах данных, чтобы воспользоваться этой функцией?
НаВ связи с этим я подумал, что, указав значение maxParallelism, это потенциально позволит Flink динамически определять, какой уровень параллелизма будет подходящим для предоставленного набора данных (как подробно описано выше).Однако я не могу указать максимальный параллелизм, как указано в документации Flink 1.4, поэтому я не смог проверить свою гипотезу.Для некоторого контекста я использую DataSet API. Как указать максимальный параллелизм во Flink?
ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
env.setMaxParallelism(20); // can't seem to call this method on env
