Как использовать Sqoop incremental lastmodified, если в исходной таблице нет столбца меток времени.

Question

Как использовать Sqoop incremental lastmodified, если исходная таблица не имеет столбца метки времени или любого такого столбца даты, и клиент не позволяет вносить какие-либо изменения в исходную таблицу.

Answer 1

1.Ваша исходная таблица никогда не обновляется, просто добавьте

. Вы получаете новые вставленные строки на основе первичного ключа автоинкремента, указав последнюю строку, которую вы ранее интегрировали.

2.Ваша исходная таблица обновляется и вставляется

В случае, если ваша исходная таблица также обновлена, единственный способ получить ее - это извлечь всю таблицу и сравнить источник и цель с хеш-функцией на основе всех столбцов.Вы можете обнаружить строки, которые были изменены, сравнив все столбцы с помощью функции hash() в новой таблице и таблице кустов. Существует несколько способов обновить таблицу кустов:

• merge (лучше работает в hive2) и вторая часть
• заменить слияние на две инструкции update / insert, если вы используете стабильный hive 1.2.x версии