Улей на озере дельта - PullRequest
Новая
       62

Улей на озере дельта

3 голосов
/ 18 июня 2020

Я новичок в Spark & ​​Delta Lake. Я создаю таблицу улья поверх дельта-таблицы. У меня есть необходимые jar-файлы delta-core-shaded-assembly_2.11-0.1.0.jar, hive-delta_2.11-0.1.0.jar; в пути класса улья. Установите следующие свойства. 

SET hive.input.format=io.delta.hive.HiveInputFormat;
SET hive.tez.input.format=io.delta.hive.HiveInputFormat;

Но при создании таблицы

CREATE EXTERNAL TABLE hive_table(col1 INT, col2 STRING) STORED BY 'io.delta.hive.DeltaStorageHandler' LOCATION '/path/to/my/delta/table'

Получение следующего исключения:

FAILED: Ошибка выполнения, код возврата 1 из организации apache .had oop .hive.ql.exe c .DDLTask. org. apache .spark.network.util.JavaUtils.byteStringAs (Ljava / lang / String; Lorg / apache / spark / network / util / ByteUnit;) J

Соответствие схемы обеих таблиц . Детали стека: Spark: 2.4.4 Hive: 1.2.1

Любая помощь приветствуется. Заранее спасибо.

1 Ответ

1 голос
/ 28 июня 2020

Улей с дельта-озером поддерживает только Spark 3.0 и дельта-версию 0.7.0. 

<dependency>
  <groupId>io.delta</groupId>
  <artifactId>delta-core_2.12</artifactId>
  <version>0.7.0</version>
</dependency>
...