Spark 2.4.0 - отказоустойчивый структурированный поток от Kafka

Question

У меня возникли вопросы по отказоустойчивости в Spark Structured Streaming при чтении с kafka. Это из Руководства по программированию структурированного потока:

В случае сбоя или преднамеренного выключения вы можете восстановить предыдущий ход и состояние предыдущего запроса и продолжить с того места, где он был прерван. Это делается с помощью контрольных точек и журналов записи вперед.

1) Как перезапустить неудачный запрос? Это можно сделать автоматически?

Вы можете настроить запрос с местоположением контрольной точки, и запрос сохранит всю информацию о ходе выполнения (то есть диапазон смещений, обработанных в каждом триггере) и бегущие агрегаты (например, количество слов в быстром примере) в местоположение контрольной точки. Это местоположение контрольной точки должно быть путем в файловой системе, совместимой с HDFS, и может быть задано как опция в DataStreamWriter при запуске запроса.

2) Что произойдет, если вы не укажете местоположение контрольной точки? Выбрано место по умолчанию или у вас нет гарантий отказоустойчивости? Можете ли вы указать в качестве местоположения контрольной точки путь к локальной файловой системе без hdfs одного узла?

Answer 1

Вы можете найти ответ на свои вопросы из streamingcontext.java https://spark.apache.org/docs/2.2.0/api/java/org/apache/spark/streaming/StreamingContext.html

Нет местоположения CheckPoint-

Если мы не укажем местоположение контрольной точки, томы не сможем выполнить восстановление в случае сбоя.

Местоположение контрольной точки по умолчанию

Нет местоположения контрольной точки по умолчанию.нам нужно указать.

Местоположение контрольной точки без hdfs

HDFS-совместимый каталог, в котором данные контрольной точки будут надежно храниться.Обратите внимание, что это должна быть отказоустойчивая файловая система, такая как HDFS.поэтому нет смысла указывать местное местоположение контрольной точки.