Получение сообщения об ошибке «org.apache.spark.SparkException: не удалось найти смещения лидера для Set» в потоковой передаче Spark - PullRequest
1 голос
/ 18 марта 2019

У меня бегут искры.Это работало нормально около 20 минут, но затем я получил следующее сообщение об ошибке.

kafka.common.NotLeaderForPartitionException, org.apache.spark.SparkException: Couldn't find leader offsets for Set([lbs_avro,87], [lbs_avro,39], [lbs_avro,21]))

Не могли бы вы помочь мне, как преодолеть это.Я использую API createDirectStream для приема сообщений со следующими параметрами

"metadata.broker.list" -> kafkaBrokers, "group.id" -> kafkaGroupId, "auto.offset.reset" -> "largest", "enable.auto.commit" -> "true"

Спасибо

...