Приложение Apache Spark: входной путь не существует - PullRequest
Новая
       24

Приложение Apache Spark: входной путь не существует

0 голосов
/ 06 декабря 2018

Я пытаюсь выполнить простую программу для чтения простого текстового файла, найденного в локальной системе, и получаю следующую ошибку:

py4j.protocol.Py4JJavaError: Произошла ошибка при вызове z: org.apache.spark.api.python.PythonRDD.collectAndServe.: org.apache.hadoop.mapred.InvalidInputException: Путь ввода не существует: file: / C: /orders.csv

Я использую PyCharm в Windows 10, и вот код: 

from pyspark import SparkContext
from pyspark.mllib.fpm import FPGrowth

sc = SparkContext("local", "first app")
#data = sc.textFile("./orders_aM2e2wewJt.csv")
data = sc.textFile("C:\\orders.csv")
transactions = data.map(lambda line: line.strip().split(';'))
model = FPGrowth.train(transactions, minSupport=0.1, numPartitions=10)

Я попробовал пару решений, уже предложенных в Интернете, например, этот файл: // C: /orders.csv, но он не работал.

Самое смешное, что я могу получить доступ кфайл без проблем через блокнот Jupyter.

Помогите ли вы в этом?Заранее спасибо

...