Spark Structured Streaming получает сообщения для последнего раздела Kafka

Question

Я использую Spark Structured Streaming для чтения из темы Kafka.

Без какого-либо раздела потребитель Spark Structired Streaming может читать данные.

Но когда я добавил разделы в тему, клиентпоказывать сообщения только из последнего раздела.То есть, если в теме 4 раздела и I.am выдвигает числа, подобные 1,2,3,4 в теме, то клиент печатает только 4, а не другие значения.

Я использую последние образцы и двоичные файлы из Spark StructuredПотоковый веб-сайт.

    DataFrame<Row> df = spark
 .readStream()
 .format("kafka") 
.option("kafka.bootstrap.servers", "host1:port1,host2:port2") 
.option("subscribe", "topic1") 
.load()

Я что-то упустил?

Answer 1

Проблема устранена путем изменения kafka-clients-0.10.1.1.jar на kafka-clients-0.10.0.1.jar.

Найдена ссылка здесь Spark Structured Stream получает сообщения только от одного разделаКафка