я использую spark 2.3 scala 2.11.8 в AWS EMR и вижу, что путь s3 не найден, но путь существует.aws s3 ls четко показывает, что каталог и содержимое в порядке
org.apache.spark.sql.AnalysisException: путь не существует: s3: // dev-us-east-1 / data / v1 / output /20190115 / индивидуальный / part-00000-b8450da0-15e9-482e-b588-08d6baa0637a-c000.snappy.parquet;
val df = sqlContext.read.parquet ("s3: // dev-us-east-1 / data / v1 / output / "" "+ dt +" "" / индивидуальный / part - *. Snappy.parquet ")
Другие папки / файлы загружаются очень хорошо с тем же кодом.Интересно, есть ли ограничения размера файла или проблема памяти, маскирующаяся под проблему пути?Я также читал об использовании s3a: // и s3n: // вместо s3: //, но я новичок в спарке и быстро пытаюсь изменить свой путь на s3a: // получил исключение ACCESS DENIED