sparklyr spark_read_parquet от s3 ошибка - PullRequest
Новая
       22

sparklyr spark_read_parquet от s3 ошибка

0 голосов
/ 28 марта 2019

Когда я читаю файл паркета на s3 из контекста sparklyr, вот так: 

{spark_read_parquet(sc, name = "parquet_test", path = "s3a://<path-to-file>")}

выдает ошибку:

Причина: java.io.IOException: Не удалось прочитать нижний колонтитул для файла: FileStatus {path = s3a: .....

Мне удалось прочитать файл паркета в сеансе sparkR с помощью функции read.parquet (). Таким образом, должны быть некоторые различия с точки зрения конфигурации контекста искры между sparkR и sparklyr.

Есть предложения по этому вопросу? Спасибо.

1 Ответ

0 голосов
/ 13 апреля 2019

В режиме yarn-client используемая вами схема файла s3 неверна.Вам нужно будет использовать s3://<path-to-file>

...