Я отправляю задание Flink в кластер с тремя менеджерами задач через панель управления Flink.Когда я устанавливаю Parallelism в 1 (по умолчанию), все работает как положено.Но когда я увеличиваю Parallelism до значения, превышающего 1, задание не выполняется, за исключением:
java.io.FileNotFoundException: /tmp/flink-io-f91d7812-a411-4b58-a891-c9be1cde91da/08caeac37d6b8351daf6a3eb123a473106c56381b101f3e5d9704df9f78406a2.0.buffer (No such file or directory)
at java.io.RandomAccessFile.open0(Native Method)
at java.io.RandomAccessFile.open(RandomAccessFile.java:316)
at java.io.RandomAccessFile.<init>(RandomAccessFile.java:243)
at org.apache.flink.streaming.runtime.io.BufferSpiller.createSpillingChannel(BufferSpiller.java:259)
at org.apache.flink.streaming.runtime.io.BufferSpiller.<init>(BufferSpiller.java:120)
at org.apache.flink.streaming.runtime.io.BarrierBuffer.<init>(BarrierBuffer.java:149)
at org.apache.flink.streaming.runtime.io.StreamInputProcessor.<init>(StreamInputProcessor.java:129)
at org.apache.flink.streaming.runtime.tasks.OneInputStreamTask.init(OneInputStreamTask.java:56)
at org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamTask.java:235)
at org.apache.flink.runtime.taskmanager.Task.run(Task.java:718)
at java.lang.Thread.run(Thread.java:745)
Я включил контрольные точки в своем задании Flink с помощью стратегии повторения «Точно один раз» каждые 10 секунд.Вот моя конфигурация контрольной точки,
env.setStateBackend(new RocksDBStateBackend(props.getFlinkCheckpointDataUri(), true));
env.enableCheckpointing(10000, EXACTLY_ONCE); //10 seconds
CheckpointConfig config = env.getCheckpointConfig();
config.enableExternalizedCheckpoints(CheckpointConfig.ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION);
Должен ли я настроить что-то еще, кроме простого ввода 2 при отправке задания на панели инструментов?
РЕДАКТИРОВАТЬ: если я отключаю контрольные точки и загружаю работуработает без ошибок.