Разница между точкой сохранения и контрольной точкой во Flink

Question

Я знаю, что есть аналогичные вопросы о потоке стека, но после изучения нескольких из них я знаю,

1. savepoint запускается вручную, а checkpoint запускается автоматически

2. Они используют другой формат хранения

Но это не запутанные моменты, я понятия не имею, когда использовать один или когда использовать другой.

Рассмотрим следующие два сценария:

1. Если по какой-то причине мне потребуется завершить работу или перезапустить все приложение (например, исправление ошибки или непредвиденный сбой), тогда мне придется использоватьsavepoint восстановить все приложение?
2. Я думал, что checkpoint используется только внутри Flink для обеспечения отказоустойчивости, когда приложение запущено, то есть само приложение запущено, но задачи или другие вещи могут завершиться неудачей, то есть Flink будет использовать checkpoint для восстановления состояния?
3. Существует также externalized checkpoint, я думаю, что то же самое с savepoint по функциональности, то есть externalized checkpoint также можно использовать для восстановления после перезапуска приложения?

Answer 1

Использует ли Flink контрольную точку для восстановления состояния?

В принципе вы правы.Как вы сказали, контрольная точка обычно используется внутри Flink для отказоустойчивости, и это больше похоже на концепцию внутри фреймворка.В случае сбоя вашего приложения программа попытается перезапуститься с последней контрольной точки.Вот как контрольная точка работает во Flink, без какого-либо вмешательства со стороны пользователя.

Должен ли я использовать точку сохранения для восстановления всего приложения для исправления ошибки?

Да.В этих случаях вы не хотите восстанавливать с контрольной точки, потому что, возможно, последняя контрольная точка происходит несколько минут назад.Вместо этого вы хотели бы сделать снимок текущего состояния всего приложения и перезапустить его с последней точки сохранения, что может быть самым быстрым способом восстановления приложения без особых задержек.

Внешняя контрольная точка.

Это все еще контрольная точка, но она будет сохранена извне в зависимости от ваших настроек.Его можно использовать для восстановления приложения, но состояния не так реальны, потому что между контрольными точками существует интервал.

Для получения дополнительной информации, посмотрите этот художественный блог: https://data -artisans.com/blog/differences-between-savepoints-and-checkpoints-in-flink.