Проблема реализации Pyspark reduByKey - PullRequest
0 голосов
/ 25 апреля 2020
enter code here

rdd1 = s c .textFile ('dbfs: /FileStore/tables/test.txt')

rdd2 = rdd1.flatMap (лямбда a: a.split ("," ))

rdd4 = rdd2.map (лямбда-а: (a, 1)). lowerByKey (лямбда-x, y: (x + y))

print (rdd4.collect ())

отлично работает

однако

rdd1 = s c .textFile ('dbfs: /FileStore/tables/test.txt')

rdd2 = rdd1.flatMap (лямбда a: a.split (","))

rdd4 = rdd2.map (лямбда a: (a, 1))

rdd5 = rdd4.reduceByKey (лямбда x, y: (x + y))

print (rdd5.collect ())

NameError: name 'rdd5' не определено
почему отображается эта проблема?

...