У меня есть вариант использования, когда несколько таблиц публикуются в одной теме, но в разных разделах.Я хочу читать из определенного раздела в одиночку и из пользовательского смещения.
val data = sql.readStream.format("kafka")
.option("kafka.bootstrap.servers", "servers")
.option("assign", {"TEST1":[0]})
.option("startingOffsets",""" {"TEST1":{"0":172260244}} """)
.option("endingOffsets",""" {"TEST1":{"0":-1}} """)
.load()
Итак, когда я подписываюсь на него, я получаю следующую ошибку.Название темы конвертируется в нижний регистр автоматически.
WARN org.apache.spark.sql.kafka010.KafkaSource - Error in attempt 1 getting Kafka offsets:
java.lang.AssertionError: assertion failed: If startingOffsets contains specific offsets, you must specify all TopicPartitions.
Use -1 for latest, -2 for earliest, if you don't care.
Specified: Set(test1-0) Assigned: Set(TEST1-0)