У меня проблема с модулем pyspark sql. Я создал многораздельную таблицу и сохранил ее в виде файла паркета в таблице кустов, запустив работу spark после нескольких преобразований.
Загрузка данных успешно в улей и также может запрашивать данные. Но когда я пытаюсь запросить те же данные из spark, он говорит, что путь к файлу не существует.
java.io.FileNotFoundException: файл hdfs: // localhost: 8020 / data / path / of / partition section = 15f244ee8f48a2f98539d9d319d49d9c не существует
Разделом, о котором упоминалось в приведенной выше ошибке, были старые разделенные данные столбца, которых сейчас даже не существует.
Я запустил задание spark, которое заполняет новое значение раздела.
Я искал решения, но все, что я вижу, это то, что люди говорят, что в spark версии 1.4 не было проблем, и проблема в 1.6
.
Может кто-нибудь предложить мне решение этой проблемы.