Потребитель Kafka с PySpark ERROR TaskSetManager: 70 и ERROR ReceiverTracker: 91 - PullRequest
Новая
       40

Потребитель Kafka с PySpark ERROR TaskSetManager: 70 и ERROR ReceiverTracker: 91

0 голосов
/ 22 июня 2019

Я потребляю твиты для Кафки-продюсера, а затем поглощаю их для Кафки-потребителя.Я могу заставить код работать, но я получаю следующее сообщение об ошибке каждый раз, когда я запускаю его. 

2019-06-21 19:07:57 ERROR TaskSetManager:70 - Task 0 in stage 450.0 failed 1 times; aborting job
2019-06-21 19:07:57 ERROR ReceiverTracker:91 - Receiver has been stopped. Try to restart it.
org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 450.0 failed 1 times, most recent failure: Lost task 0.0 in stage 450.0 (TID 384, localhost, executor driver):

Код, который я сейчас использую, чтобы использовать твиты в PySpark: 

dataStream = KafkaUtils.createStream(ssc=ssc, zkQuorum='localhost:2181', groupId=0, topics={"tweetstream": 1}, kafkaParams=params, valueDecoder=lambda x: x.decode())
...