Обязательно ли в Hive две таблицы (родная, внешняя) для запроса таблицы DynamoDB из AWS EMR? - PullRequest
0 голосов
/ 12 февраля 2020

Всегда ли необходимы две таблицы кустов (собственная, внешняя) для запроса таблицы DynamoDB из AWS EMR?

Я создал собственную таблицу кустов (CTAS, создайте таблицу как выборку) с использованием куста внешняя таблица, которая была сопоставлена ​​с таблицей DynamoDB. Мое (чтение) время запросов к внешним таблицам медленное, и оно использует пропускную способность чтения по сравнению с собственной таблицей быстро, а пропускная способность чтения не используется.

Мои вопросы:

  1. Является ли это стандартной практикой / передовой практикой, т. Е. Создать внешнюю таблицу, сопоставленную с таблицей динамодаб, а затем создать CTAS и выполнить запрос к CTAS для всех случаев использования запросов на чтение?

  2. Где или как GSI на динамодб попадают в картину улей? В связи с этим любопытством я попытался сопоставить столбец своей таблицы внешнего куста с GSI DynamodB и кое-чем, что ожидалось, увидело NULL. Итак, возвращаясь к вопросу №2, было интересно, как GSI используется с нативной или внешней таблицей ульев?

Спасибо,

1 Ответ

0 голосов
/ 27 февраля 2020

Ответ - нет.
Однако, по моим наблюдениям, данные исходной таблицы улья поддерживаются (CTAS) внешней таблицей улья, которая ссылается на таблицу DynamoDb: чтение данных не учитывается, если вы запрашиваете исходную таблицу куста из ЭЙ. Если принять во внимание обновление periodi c (refre sh data) родной таблицы куста.

...