Flink 1.8, параллелизм> 1, источник никогда не выводит значения - PullRequest
Новая
       15

Flink 1.8, параллелизм> 1, источник никогда не выводит значения

1 голос
/ 01 мая 2019

У меня есть кластер с:

  • 1 TaskManager
  • 1 Автономная работа / JobManager
  • Конфиг: taskmanager.numberOfTaskSlots: 1

Если я задаю default.parallelism: 4 для задания с источником Flink PubSub , я получаю эту ошибку при запуске моего «кластера заданий» / taskmanager:

[analytics-job-cluster-7bd4586ccb-s5hmp job] 2019-05-01 16: 22: 30,888 INFO org.apache.flink.runtime.checkpoint.CheckpointCoordinator - задача запуска контрольной точки Источник: Пользовательский источник -> Процесс -> Отметки времени / водяные знаки -> app_events (1/4) задания 00000000000000000000000000000000 не находятся в состоянии RUNNING, но вместо этого SCHEDULED. Отмена контрольной точки.

Однако, если я указываю ту же работу на кучу файлов, она работает отлично. Что это значит?

1 Ответ

1 голос
/ 07 мая 2019

Итак, проблема в том, что вам нужно numberOfTaskSlots, равное вашему параллелизму в принципе. Таким образом, в этом случае, если у вас есть только 1 TaskManager только с 1 TaskSlot, Flink не сможет правильно запустить задание, так как для этого просто недостаточно слотов. Если вы установите numberOfTaskSlots для данного TaskManager равным параллелизму, тогда он должен работать хорошо.

...