Как загрузить текстовый файл в pySpark? - PullRequest
0 голосов
/ 11 апреля 2020

Я хочу загрузить файл в локальный PySpark. Но я не могу и эта ошибка появляется. Вы знаете, что я делаю?

ошибка искры

1 Ответ

0 голосов
/ 11 апреля 2020

Когда вы загружаете файл через Spark, он также ожидает протокол и по умолчанию он ожидает либо HDFS (распределенную вычислительную файловую систему).

Поскольку вы пытаетесь создать локальный файл, следуйте этому подходу

sc.textFile("file:///path to the file/")

уже ответил здесь

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...