Таблица кустов устарела после дополнительного импорта Sqoop - PullRequest
Новая
       26

Таблица кустов устарела после дополнительного импорта Sqoop

0 голосов
/ 13 ноября 2018

Я пытаюсь выполнить инкрементальный импорт Sqoop в таблицу Hive, используя "--incremental append".

Я выполнил первоначальный импорт sqoop, а затем создал задание для добавочного импорта. Оба выполняются успешно, и новые файлы были добавлены в один и тот же каталог исходной таблицы Hive в HDFS, но когда я проверяю свою таблицу Hive, импортированные наблюдения отсутствуют. Таблица Hive равна инкрементному импорту sqoop.

Как я могу решить это? У меня около 45 таблиц Hive, и я хотел бы обновлять их ежедневно автоматически после добавочного импорта Sqoop.

Первый импорт Sqoop: 

sqoop import \
--connect jdbc:db2://... \
--username root \
-password 9999999 \
--class-name db2fcs_cust_atu \
--query "SELECT * FROM db2fcs.cust_atu WHERE \$CONDITIONS" \
--split-by PTC_NR  \
--fetch-size 10000 \
--delete-target-dir \
--target-dir /apps/hive/warehouse/fcs.db/db2fcs_cust_atu \
--hive-import \
--hive-table fcs.cust_atu \
-m 64;

Затем я запускаю пошаговый импорт Sqoop: 

sqoop job \
-create cli_atu \
--import \
--connect jdbc:db2://... \
--username root \
--password 9999999 \
--table db2fcs.cust_atu \
--target-dir /apps/hive/warehouse/fcs.db/db2fcs_cust_atu \
--hive-table fcs.cust_atu \
--split-by PTC_NR \
--incremental append \
--check-column TS_CUST \
--last-value '2018-09-09'

1 Ответ

0 голосов
/ 13 ноября 2018

Может быть трудно понять / ответить на ваш вопрос, не глядя на ваш полный запрос, потому что ваш результат также зависит от вашего выбора аргументов и каталогов. Хотите поделиться своим запросом?

...