У меня проблема с строкой кода, которая раньше работала нормально в Spark 1.6 и не работает в Spark 2.2.Ошибка java.io.FileNotFoundException: файл не существует:
Обратите внимание, что в пути к файлу есть пробел.Пробел указывается после гггг-мм-дд.
hdfs: // hadoop / path / part_date = 2018-04-20 15% 3A01% 3A21 / 000000_0
Это может быть причиной проблемы.Как я могу обойти это.
df = spark.read.format('orc').load('hdfs://hadoop/path/part_date=2018-04-20%2015%253A01%253A21/000000_0')
df.show()