В любом случае, чтобы получить компенсацию кафки, используя искру со скалой, любой может подсказать - PullRequest
0 голосов
/ 11 июня 2019

Я использую приведенный ниже код для получения данных из kafka, а также хочу прочитать смещение с данными. Есть ли способ прочитать смещение и данные из kafka, используя искру со scala.

val kafkaStream = сохраненный набор совпадений {

  case None => 
    KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder](ssc, kafkaParams, topics) 
  case Some(fromOffsets) => 
    val messageHandler = (mmd: MessageAndMetadata[String, String]) => (mmd.key, mmd.message)
    KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder, (String, String)](ssc, kafkaParams, fromOffsets, messageHandler) 
}
...