Как читать с определенного раздела Kafka в структурированном потоке Spark - PullRequest
Новая
       32

Как читать с определенного раздела Kafka в структурированном потоке Spark

0 голосов
/ 15 февраля 2019

У меня есть три раздела для моей темы Кафки, и мне было интересно, смогу ли я прочитать только один раздел из трех.Мой потребитель - это потоковое приложение с искровым структурированием.

Ниже приведены мои существующие настройки кафки в spark. 

  val inputDf = spark.readStream
  .format("kafka")
  .option("kafka.bootstrap.servers", brokers)
  .option("subscribe", topic)
  .option("startingOffsets", "latest")
  .load()

1 Ответ

0 голосов
/ 15 февраля 2019

Вот как вы можете читать из определенного раздела. 

 val inputDf = spark.readStream
  .format("kafka")
  .option("kafka.bootstrap.servers", brokers)
  .option("assign", """{"topic":[0]}""") 
  .option("startingOffsets", "latest")
  .load()

PS: читать из нескольких разделов вместо 1 -> "" "{" topic ": [0,1,2..n]} "" "

...