Я пытаюсь получить данные из Кафки в HDFS, используя Spark-Streaming.У меня нет доступа к очереди Кафки, так как она обрабатывается другой командой.Поэтому я не знаю их внутренних конфигов
Сначала все работает нормально.Но когда через некоторое время он снова подключается, к идентификатору группы добавляется префикс «spark-executor-».ТАК что идентификатор группы "ABC" становится "spark-executor-ABC". Я не понимаю, почему.
Очередь kafka использует SSL без Kerberos
Ниже приведена ошибка
Exception in thread "main" org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 2.0 failed 1 times, most recent failure: Lost task 0.0 in stage 2.0 (TID 3, localhost, executor driver): org.apache.kafka.common.errors.GroupAuthorizationException: Not authorized to access group: spark-executor-ABC
Kafka Версия: 0.11.0.3
Spark Vesion: 2.2.0: 2.11
зависимости: spark-streaming-kafka-0-10-assembly_2.11
spark-streaming_2.11
spark-core_2.11
kafka_2.11
Ниже приводится конфигурация Kafka:
val kafkaParams = Map[String, Object](
"bootstrap.servers" -> "XXX:XXX",
"key.deserializer" -> classOf[StringDeserializer],
"value.deserializer" -> classOf[StringDeserializer],
"group.id" -> "ABC",
"auto.offset.reset" -> "latest",
"enable.auto.commit" -> "false",
"security.protocol" -> "SASL_SSL",
"sasl.mechanism" -> "PLAIN",
"ssl.truststore.location" -> "XXXX",
"ssl.truststore.password" -> "XXXX")