Spark Структурированная потоковая передача с источником Kafka, изменение количества разделов темы во время выполнения запроса

Question

Я настроил Spark структурированный потоковый запрос, который читает из темы Kafka. Если количество разделов в теме изменяется во время выполнения запроса Spark, Spark, кажется, не замечает этого, и данные о новых разделах не используются.

Есть ли способ сообщить Spark о проверке новых разделовв той же теме, кроме остановки запроса и его перезапуска?

РЕДАКТИРОВАТЬ: я использую Spark 2.4.4. Я читаю из кафки следующее:

spark
      .readStream
      .format("kafka")
      .option("kafka.bootstrap.servers", kafkaURL)
      .option("startingOffsets", "earliest")
      .option("subscribe", topic)
      .option("failOnDataLoss", value = false)
      .load()

после некоторой обработки я пишу в HDFS на таблицу Delta Lake.