Восстановление с помощью одного JobManager

Question

Я пытаюсь восстановить свою работу и указать, когда у меня отключается менеджер по работе, и я не смог успешно перезапустить свою работу.

Насколько я понимаю, восстановлению TaskManager помогает JobManager (работает как положено), а восстановление JobManager завершается через Zookeeper.

Мне интересно, есть ли способ восстановить работу менеджера без зоопарка?

Я использую докер для своей настройки, и все контрольные точки и точки сохранения сохраняются в сопоставленных томах.

Способен ли flink восстановиться, когда все менеджеры по работе потерпят неудачу? Я могу позволить себе перезапустить единственный JobManager.

При перезапуске менеджера заданий я получаю следующее исключение: org.apache.flink.runtime.rest.NotFoundException: Job 446f4392adc32f8e7ba405a474b49e32 not found

Я установил следующее в моем flink-conf.yaml

state.backend: filesystem
state.checkpoints.dir: file:///opt/flink/checkpoints
state.savepoints.dir: file:///opt/flink/savepoints

Я думаю, что моя проблема может заключаться в том, что JAR удаляется при перезапуске менеджера заданий, но я не уверен, как решить эту проблему.

Answer 1

Вы можете проверить работу своего кластера как "Flink Job Cluster". Это автоматически запустит задание, которое вы запекли в образ докера, когда появится контейнер. Вы можете прочитать больше здесь .

Answer 2

В настоящий момент Flink поддерживает восстановление только после сбоя JobManager, если вы используете ZooKeeper. Тем не менее, теоретически вы также можете заставить его работать без него, если можете гарантировать, что когда-либо работает только один JobManager. См. ответ для получения дополнительной информации.