Я новичок в Pyspark и на самом деле пытаюсь построить плоскую карту из объекта Pyspark RDD.Однако, даже если эта функция явно существует для класса RDD pyspark, согласно документации, я не могу использовать ее и получить следующую ошибку:
AttributeError: 'RDD' object has no attribute 'flatmap'
Я вызываю последнюю функцию в следующемстрока:
my_rdd = my_rdd.flatmap(lambda r: (r[5].split('|')))
Импортируются следующие элементы:
from pyspark.sql import *
from pyspark.sql.functions import *
from pyspark.sql import SparkSession
from pyspark import SparkContext as sc
from pyspark import SparkFiles
spark = SparkSession.builder.getOrCreate()
Дополнительно, некоторые другие функции, как my_rdd.count, работают, что позволяет мне думать, что SparkContext правильно реализован.
Есть ли у вас какие-либо идеи о причине, по которой он может потерпеть неудачу?