Flink: как настроить свойства диспетчера задач с помощью кода Flink

Question

я получаю сообщение об ошибке "Причина: java.io.IOException: Недостаточное количество сетевых буферов: требуется 30, но доступно только 25. Общее количество сетевых буферов в настоящее время установлено в 12945 из 32768 байт каждый. Вы можете увеличить это число путем установки ключей конфигурации 'taskmanager.network.memory.fraction', 'taskmanager.network.memory.min' и 'taskmanager.network.memory.max'. "

Я запускаю этот код Flink из Eclipse. Я знаю, как установить свойства диспетчера задач из flink-conf.yaml но как я могу установить, если я бегу через IDE.

Answer 1

При выполнении DataSet заданий вам нужно позвонить ExecutionEnvironment.createLocalEnvironment(Configuration configuration), чтобы передать пользовательский Configuration.

При выполнении DataStream заданий вам нужно позвонить StreamExecutionEnvironment.createLocalEnvironment(int parallelism, Configuration configuration), чтобы передать пользовательский Configuration.