Бросить колонну RDD на поплавок - PullRequest
Новая
       6

Бросить колонну RDD на поплавок

0 голосов
/ 08 ноября 2019

Я только что загрузил данные ratings из http://files.grouplens.org/datasets/movielens/ml-latest-small.zip как RDD в pySpark. Я хотел привести колонку оценок к float. Как мне это сделать?

Я пытался использовать функцию lambda внутри map, но она не сработала, как я ожидал.

Ниже приведен код, который я пробовал. 

path_data = "/ml-latest-small"
ratingsFile = sc.textFile(path_data + "/ratings.csv")

ratingsFile_2 = ratingsFile.map(lambda x: x.split(","))

header = ratingsFile_2.first()

ratingsFile_3 = ratingsFile_2.filter(lambda x: x != header)

ratingsFile_4 = ratingsFile_3.map(lambda x: float(x[2])

ratingsFile_4.take(6)

Я получаю

[4.0, 4.0, 4.0, 5.0, 5.0, 3.0]

вместо 

[['1', '1', 4.0, '964982703'],
 ['1', '3', 4.0, '964981247'],
 ['1', '6', 4.0, '964982224'],
 ['1', '47', 5.0, '964983815'],
 ['1', '50', 5.0, '964982931'],
 ['1', '70', 3.0, '964982400']]
...