Spark для Kafka на Azure: время ожидания продюсера - PullRequest
Новая
       29

Spark для Kafka на Azure: время ожидания продюсера

0 голосов
/ 10 января 2019

Я пытаюсь опубликовать сообщения из блоков данных Azure в очередь Kafka, размещенную в кластере HDInsights в Azure. Искровой кластер и кластер Кафки находятся в одной виртуальной сети.

Когда я запускаю это на своем ноутбуке, 

> kafka_input.write
>           .format("kafka")
>           .option("kafka.bootstrap.servers", kafkaBrokers)
>           .option("topic", topicName)
>           .save()

Я получаю следующее сообщение об ошибке: 

> org.apache.spark.SparkException: Job aborted due to stage failure:
> Task 2 in stage 12.0 failed 4 times, most recent failure: Lost task
> 2.3 in stage 12.0 (TID 83, 10.139.64.4, executor 0): kafkashaded.org.apache.kafka.common.errors.TimeoutException: Failed to
> update metadata after 60000 ms.

Из того, что я вижу в интернете, похоже, что это может произойти, если не установлен advertised.listeners. Я следовал инструкциям здесь , чтобы установить это через панель инструментов Ambari.

Любые предложения о том, что здесь может быть не так?

...