Четкие смещения искровых структурированных потоков от кафки

Question

Когда я тестирую, мой код выглядит следующим образом.

    .format("kafka")
    .option("kafka.bootstrap.servers","...")
    .option("subscribe","...")
    .option("startingOffsets", "earliest")
//    .option("startingOffsets", "latest")
    .load()

Но когда я устанавливаю .option("startingOffsets", "latest"), возобновление всегда будет начинаться с того места, где остановился запрос. Как заставить .option("startingOffsets", "latest") вступить в силу?

ps: я пытался удалить файл контрольных точек, но он не работал

Answer 1

Пожалуйста, обратитесь к документу

https://spark.apache.org/docs/2.2.0/structured-streaming-kafka-integration.html

Начальная точка при запуске запроса, либо «самая ранняя», то есть самая ранняя смещения, «последняя»msgstr "который только из последних смещений, или строка json, указывающая начальное смещение для каждой темы раздела. В json -2 как смещение может использоваться для обозначения самого раннего, от -1 до самого последнего. Примечание: для пакетных запросов последний (неявно или с использованием -1 в json) не допускается. Для потоковых запросов это применимо только при запуске нового запроса, и это возобновление всегда будет начинаться с того места, где запрос был остановлен. Вновь обнаруженные разделы во время запроса начнутся в ближайшее время.

Для потоковых запросов это применяется только при запуске нового запроса, и это возобновление всегда будет начинаться с того места, где запрос был остановлен. Вновь обнаруженные разделы во время запроса начнутся не раньше