Таблица данных Delta и Hive Transactional Table - PullRequest
0 голосов
/ 13 декабря 2018

Я видел из двух источников, что сейчас вы не можете каким-либо осмысленным образом взаимодействовать с транзакционными таблицами HIVE от Spark.

Hive ACID

Таблицы транзакций в кустах не читаются искрой

Я вижу, что Databricks выпустил транзакционную функцию под названием Databricks Delta .Можно ли теперь читать транзакционные таблицы HIVE, используя эту функцию?

1 Ответ

0 голосов
/ 13 декабря 2018

Неа.Не Hive Транзакционные таблицы.Вы создаете новый тип таблицы с именем Delta Table из Databricks (Spark table of parquets) и используете метасторное хранилище Hive для чтения / записи в эти таблицы.

Это своего рода внешняя таблица, но она больше похожа на данные для схемы.Больше о Spark and Parquet.

Решением вашей проблемы может быть чтение файлов улья и наложение схемы соответствующим образом в записной книжке Databricks, а затем сохранение ее в виде дельта-таблицы databricks.например: df.write.mode('overwrite').format('delta').save(/mnt/out/put/path) Вам все равно нужно написать DDL, указывающий на это местоположение. Просто таблица FYI DELTA является транзакционной.

...