У нас недавно была проблема, когда некоторые из разделов Kafka были потеряны, и работа продолжалась без сбоев. Тем временем были добавлены новые разделы кафки. Похоже, что наша работа с потоковым воспроизведением не была перезапущена и она не получала никаких данных от новых разделов, пока мы не заметили расхождения в подсчетах. Мы возобновили работу, и все было хорошо. Итак, мой вопрос: потоковое API-интерфейс spark-kafka не проверяет время от времени добавление новых разделов? Есть ли какие-либо специальные настройки, чтобы включить это?