Путь s3 существует, поэтому исключение является неправильным, но что-то в этой строке и part-*
не работает
.snappy.parquet")output_fix/20190115/individual/part-*
org.apache.spark.sql.AnalysisException: Path does not exist: s3://media/data/v1/output_fix/20190115/individual/part-00000-b8450da0-15e9-482e-b588-08d6baa0637a-c000.snappy.parquet;
at org.apache.spark.sql.execution.datasources.DataSource$.org$apache$spark$sql$execution$datasources$DataSource$$checkAndGlobPathIfNecessary(DataSource.scala:715)
at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$15.apply(DataSource.scala:389)
at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$15.apply(DataSource.scala:389)
at scala.collection.TraversableLike$$anonfun$flatMap$1.apply(TraversableLike.scala:241)
Источник выше
val srcDf = sqlContext.read.parquet("s3://media/data/v1/output_fix/"""+dt+"""/individual/part-*.snappy.parquet")
IЯ пробовал дюжину вариантов, включая жесткое кодирование строки даты.Всегда вижу некоторую проблему пути, которая является фиктивной, поскольку путь s3 существует на моем fs
Любые подсказки оценены