Класс org. apache .spark. sql .hive.execution.HiveFileFormat $$ anon $ 1 не найден при попытке записать фрейм данных в собственную паркетную таблицу Hive. - PullRequest
Новая
       29

Класс org. apache .spark. sql .hive.execution.HiveFileFormat $$ anon $ 1 не найден при попытке записать фрейм данных в собственную паркетную таблицу Hive.

0 голосов
/ 22 января 2020

Conf 

spark.conf.set('spark.sql.hive.convertMetastoreParquet', "true")

Таблица кустов 

spark.sql("create table table_name (ip string, user string) PARTITIONED BY (date date) STORED AS PARQUET")

InsertInto 

df.write.insertInto("table_name", overwrite=True)

Ошибка 

Caused by: java.lang.ClassNotFoundException: org.apache.spark.sql.hive.execution.HiveFileFormat$$anon$1

Кстати вставка в ИЛИ C стол хороший. Запуск в кластере в режиме клиента.

1 Ответ

0 голосов
/ 22 января 2020

Ваш файл улья. xml Файл присутствует в папке конфигурации Spark?

Редактировать:

Можете ли вы попробовать: 

df.write.mode("overwrite").partitionBy("date").saveAsTable("db.table_name")

Это должно нет необходимости предварительно настраивать конфигурацию и запускать оператор SQL create.

...