Как восстановить ошибочные данные в Sqoop при импорте?

Question

Я импортирую 10 записей из СУБД в Hadoop через Sqoop, сбой задания при загрузке седьмой записи здесь, как я могу получить только три последние записи в следующий раз.Кто-нибудь может мне помочь с синтаксисом?

Answer 1

Вы можете использовать --last-Modified или --incremental-append, чтобы получить только эти 3 строки, и это может быть сделано, только если у вас есть идентификатор этой конкретной строки (7-й строки в вашем случае).

Пожалуйста, посмотрите на приведенную ниже команду, которая приносит новые записи после этой конкретной отметки времени.В вашем случае, если вы передадите идентификатор 7-й строки, вы получите следующие 3 строки из этой команды.

sqoop import --connect jdbc:mysql://hostname/dbname --username root --password cloudera --table tablename --target-dir /user/cloudera/new_directory_name -m 1 --check-column column_name --incremental append --last-value "2018-10-19 20:46:33"