Я пытаюсь оптимизировать слияние в улье, выполняя «слияние сортированного ведра». Насколько я понимаю, обе таблицы должны быть разделены на сегменты и отсортированы по одним и тем же столбцам в одинаковое количество сегментов. Когда я пытаюсь обновить отсортированную таблицу с разделителями, я получаю следующую ошибку:
FAILED: SemanticException [Error 10298]: ACID insert, update, delete not supported on tables that are sorted
Я использую следующую конфигурацию:
'hive.support.concurrency': True,
'hive.enforce.bucketing': True,
'hive.enforce.sorting': True,
'hive.exec.dynamic.partition.mode': 'nonstrict',
'hive.txn.manager': 'org.apache.hadoop.hive.ql.lockmgr.DbTxnManager',
'hive.compactor.initiator.on': True,
'hive.compactor.worker.threads': 1,
'hive.exec.max.dynamic.partitions': 1000,
'hive.exec.max.dynamic.partitions.pernode': 1000
Я использую версию куста Hive 2.3.6-amzn-1 от Amazon .