Как отключить KafkaUtils переопределить мою тему kafka в работе спарк - PullRequest
Новая
       32

Как отключить KafkaUtils переопределить мою тему kafka в работе спарк

0 голосов
/ 23 октября 2018

Часть моей искровой работы: 

 val kafkaParams = Map[String, Object](
   "key.deserializer" -> classOf[StringDeserializer],
   "value.deserializer" -> classOf[StringDeserializer],
   "group.id" -> "mytopic",
 )

 try {
   val inputStream = KafkaUtils.createDirectStream(ssc,PreferConsistent, Subscribe[String, String](Array(inputTopic), kafkaParams))
   val processedStream = inputStream.map(record => record.value)
   processedStream.print()
   ssc.start
   ssc.awaitTermination
 } finally {
   ...
 }

Я получил следующий журнал: 

2018-10-23 14:35:26 WARN  KafkaUtils:66 - overriding executor group.id to spark-executor-mytopic

Как отключить переопределение темы?Любые комментарии приветствуются.Спасибо

...