Исключение при разборе - путь s3 не найден - PullRequest
0 голосов
/ 31 января 2019

Путь s3 существует, поэтому исключение является неправильным, но что-то в этой строке и part-* не работает

.snappy.parquet")output_fix/20190115/individual/part-*
org.apache.spark.sql.AnalysisException: Path does not exist: s3://media/data/v1/output_fix/20190115/individual/part-00000-b8450da0-15e9-482e-b588-08d6baa0637a-c000.snappy.parquet;
  at org.apache.spark.sql.execution.datasources.DataSource$.org$apache$spark$sql$execution$datasources$DataSource$$checkAndGlobPathIfNecessary(DataSource.scala:715)
  at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$15.apply(DataSource.scala:389)
  at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$15.apply(DataSource.scala:389)
  at scala.collection.TraversableLike$$anonfun$flatMap$1.apply(TraversableLike.scala:241)

Источник выше

val srcDf = sqlContext.read.parquet("s3://media/data/v1/output_fix/"""+dt+"""/individual/part-*.snappy.parquet")

IЯ пробовал дюжину вариантов, включая жесткое кодирование строки даты.Всегда вижу некоторую проблему пути, которая является фиктивной, поскольку путь s3 существует на моем fs

Любые подсказки оценены

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...