Ошибка в Spark: преобразование RDD в DSTREAM с использованием другого rdd - PullRequest
Новая
       34

Ошибка в Spark: преобразование RDD в DSTREAM с использованием другого rdd

0 голосов
/ 03 марта 2020

Я пытаюсь воспроизвести этот пример из официальной документации: 

spamInfoRDD = sc.pickleFile(...)  # RDD containing spam information

# join data stream with spam information to do data cleaning
cleanedDStream = wordCounts.transform(lambda rdd: rdd.join(spamInfoRDD).filter(...))

Однако я получаю сообщение об ошибке SPARK-5063, в котором говорится, что я хочу преобразовать СДР внутри функции преобразования, т.е. я хочу преобразовать spamInfoRDD. Но вы можете видеть, что здесь преобразуются только rdds в wordcount.

Кто-нибудь раньше получал эту ошибку?

...