pyspark: AnalysisException при чтении CSV-файла - PullRequest
0 голосов
/ 28 мая 2018

Я новичок в pyspark.Я переношу свой проект в pyspark.Я пытаюсь прочитать CSV-файл из S3 и создать из него DF.Имя файла присвоено переменной cfg_file, и я использую ключевую переменную для чтения из S3.Я могу сделать то же самое с помощью панд, но получаю AnalysisException, когда я читаю с помощью spark.Я использую boto lib для подключения S3

df = spark.read.csv(StringIO.StringIO(Key(bucket,cfg_file).get_contents_as_string()),  sep=',')

AnalysisException: u'Path не существует: file:

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...