Я установил контрольную точку rdd, на вычисление которой уходит очень много времени. Тогда я выполнил много заданий на такой rdd. В конце концов, одно из заданий не удалось, и водитель отключился ночью. Теперь мне нужно восстановить проверенные данные, но я не могу. В SO много подобных вопросов, но ни один из них не отвечает на вопрос. например:
Как читать контрольные точки СДР <= Единственный ответ дублирует документацию. Что бесполезно
Как восстановить данные с контрольной точки при использовании прямого подхода python spark? <= Это о потоковом контексте.
Моя среда - лазурные записные книжки spark 2.4.3 и python 3