Записать искровой фрейм в существующую таблицу кустов паркета

Question

Хотите записать искровой фрейм в существующую таблицу кустов паркета.Я могу сделать это, используя df.write.mode("append").insertI to("myexistinghivetable"), но если я проверю через файловую систему, я смогу увидеть файлы искры с расширением .c000.Что означают эти файлы?А как записать датафрейм в таблицу кустов паркета.

Answer 1

Мы можем сделать это, используя df.write.partitionBy("mypartitioncols").format("parquet").mode(SaveMode.Append).saveAsTable("hivetable") В более ранних версиях режима искры сохранения добавление не было.

Answer 2

Вы можете сохранить фрейм данных как паркет в том месте, куда ссылается ваша таблица улья, после этого вы можете изменять таблицы в улье

Вы можете сделать это

df.write.mode("append").parquet("HDFS directory path")