Как обновить таблицу DynamoDB из Hive

Question

Я создал внешнюю таблицу Hive, которая подключена к DynamoDB, и, таким образом, я могу вставить данные в таблицу DynamoDB из Hive.Но теперь я хочу иметь возможность обновить таблицу.Я попытался включить транзакцию для таблицы Hive, чтобы я мог использовать команду обновления для таблицы Hive.Но я получаю ошибку:

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:The table must be bucketed and stored using an ACID compliant format (such as ORC))

Итак, мой вопрос, как я могу обновить таблицу DynamoDB из Hive?

Answer 1

Я думаю, вам нужно следующее в верхней части вашего скрипта улья:

SET hive.txn.manager = org.apache.hadoop.hive.ql.lockmgr.DbTxnManager;
SET hive.enforce.bucketing = true;

И, возможно, также параллелизм:

SET hive.support.concurrency = true;

И документы, кажется, указывают, что обновленный DynamodB вполнепросто:

https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/EMRforDynamoDB.Tutorial.CopyDataToDDB.html