Pyspark maprecece job - PullRequest
Новая
       9

Pyspark maprecece job

0 голосов
/ 11 декабря 2018

Здравствуйте и спасибо заранее за ваше время.Что я хочу сделать, так это преобразовать пару ключ-значение, где значение - это список, в другую пару, где значение - это новый список с отличиями от предыдущего. Поскольку я новичок в pyspark, я немного потерян. Ниже мой кодэто не работает, но возвращает первую пару ключ-значение.Разве я не должен использовать какие-либо функции MapReduce? 

asd2= sc.textFile("updated_nari.txt")

def parseLine(Line):
    fields= Line.split(",")
    mmsi = fields[0]
    speed=float(fields[3])
    return(mmsi,speed)

shipmmsi= asd2.map(parseLine)
asd3 = shipmmsi.groupByKey().mapValues(list)
asd3.map(lambda x:dif(x))

for result in asd3.collect():
    print(result)

def dif():
    new=[]
    for i in range(len(x)):
        new.append(x[i+1]-x[i])
     return(new)
...