Частота контрольной точки источника Spark Structured Streaming Kafka - PullRequest
0 голосов
/ 14 января 2019

Я использую тему Кафки с startingOffsets, установленным на earliest. Срок хранения кластера составляет 48 часов. Очевидно, что когда запрос выполняется впервые (без контрольных точек), он будет начинаться с самого раннего смещения. Если приложение было уничтожено до обработки всех текущих записей, будет ли оно перезапущено с того места, где оно было остановлено, или с самым ранним смещением? Т.е. происходит ли контрольная точка во время обработки первой (очень большой и, следовательно, трудоемкой) партии?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...