Я хочу создать rdd путем доступа к CSV-файлу в спарк с помощью кластера Python 2 - PullRequest
0 голосов
/ 14 октября 2019

У меня есть CSV-файл, который я импортировал в блоки данных. Я создал кластер и записную книжку для создания RDD для файла, я попробовал несколько кодов, но не смог получить доступ к файлу.

Я перепробовал много кодов, но все они дали мне ошибки, кроме одной. тот, который не дал мне ошибки, не показал мне никакого результата, и я хочу иметь возможность отображать результаты тоже.

Вот тот, который дал ошибку:

# Create RDD to access dept
dept = sc.textFile("/FileStore/tables/dept.csv")
dept.take(3)

Вот тот, который не дал ошибку:

# Create RDD to access dept
import csv/
rdd = sc.textFile("dept.csv")
rdd = rdd.mapPartitions(lambda x: csv.reader(x))

Я ожидаю, что фактический результатс таблицей из трех столбцов

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...