Я использую Java-Spark.
Я загружаю Parquet данные в таблицу Hive следующим образом:
ds.write().mode("append").format("parquet").save(path);
Затем я создаю
spark.catalog().refreshTable("mytable");//mytable is External table
И после того, как я попытался просмотреть данные из Impala, я получил следующее исключение:
Не удалось открыть файл HDFS
Нет такого файла или каталога.основная причина: RemoteException: файл не существует
После того, как я произвожу на импале refresh mytable, я вижу данные.
Как я могу сделать команду обновления из Spark?
Я тоже попробую
spark.sql("msck repair table mytable");
И все равно у меня не работает.
Есть предложения?
Спасибо.