Существует ли эквивалентное понятие контрольной точки метаданных для пакетных заданий в Apache Spark?В Spark Streaming контрольная точка метаданных позволяет отказавшему приложению выйти из предыдущего состояния приложения.Можно ли обобщить один и тот же процесс для пакетных заданий?
Например, в долго выполняющемся пакетном задании, которое записывает много сотен разделов данных, есть способ проверить его ход, чтобы в случае сбоя во время обработкипосле возобновления он может определить, какие разделы он уже завершил, рассчитать и записать и оценить только те, которые он не имеет?