Проблема вставки данных в таблицу кустов с использованием искры

Question

В настоящее время я работаю над Spark версии 2.1.0, в рамках моей работы по сбору данных я должен использовать метод insertinto для загрузки данных в таблицы кустов.Но есть ошибка в версии Spark 2.1, метод insertinto не будет поддерживать последовательность столбцов при вставке данных в таблицу кустов.

Я уже пытался использовать метод saveAsTable с режимом добавления, но он не будет работать, когда я создаю таблицысначала вручную с правильным типом данных перед загрузкой данных.

Я попытался создать фрейм данных искры из существующей таблицы кустов и попытался получить последовательность столбцов из нее и передать этот список результатов, чтобы обеспечить последовательность столбцов, но каждый раз создаваяфрейм данных в верхней части таблицы улья, чтобы получить последовательность столбцов.Будут ли накладные расходы памяти при каждой загрузке таблицы кустов для создания фрейма данных?

У кого-нибудь есть идеи, как лучше поддерживать последовательность столбцов при вводе данных в таблицу кустов?

Answer 1

Возможно, вы сначала попытаетесь получить столбцы таблицы улья, а затем применить их к вашему искровому фрейму данных:

target_table = sqlContext.table("my_target_table")
my_df.select(*target_table.columns).saveAsTable("my_target_table")