Как импортировать фиксированное количество строк в инкрементный импорт в sqoop?

Question

Я изучаю sqoop самостоятельно и попытался локально протестировать функциональность инкрементального импорта, используя приведенный ниже код

sqoop import \
--connect jdbc:mysql://localhost/employees \
--username root \
-P \
--query 'select * from employees WHERE $CONDITIONS ORDER BY emp_no LIMIT 1000' \
-m 1 \
--incremental append \
--check-column emp_no \
--target-dir sqoop/import_data/employee_db_import_incremental

Вышеупомянутый фрагмент скрипта импортировал первые 1000 записей, и теперь я хочу добавить следующие 1000 записей к существующим данным. Как это сделать?

Answer 1

Вы должны указать последнее значение, к которому необходимо добавить запись, предположим, что ваша последняя запись 1000, тогда ваша команда должна выглядеть следующим образом:

sqoop import \
--connect jdbc:mysql://localhost/employees \
--username root \
-P \
--query 'select * from employees WHERE $CONDITIONS ORDER BY emp_no LIMIT 2000' 
\
-m 1 \
--incremental append \
--check-column emp_no \
--last-value 1000
--target-dir sqoop/import_data/employee_db_import_incremental