Я использую sqoop для импорта данных Oracle в каталог HDFS.Я создал задание sqoop для того же.Я использовал следующую команду для создания задания sqoop -
sqoop job --create TABLE_NAME -- import --connect jdbc:oracle:thin:/system@HOST_NAME:PORT:SERVICE --username USERNAME --password-file /MYPASSWORD.txt --fields-terminated-by ',' --enclosed-by '"' --table USERNAME.TABLE_NAME --target-dir /TABLE_NAME/$(date --date "-1 days" +%F)/ -m 1 --incremental append --check-column DATE_COLUMN --last-value '2019-01-01 00:00:00.000' --split-by PRIMARY_KEY --null-string "" --null-non-string ""
И я выполнил это задание sqoop с помощью команды ниже -
sqoop job --exec TABLE_NAME
Когда это задание выполнялось в первый раз, оно создавало каталогTABLE_NAME / 2019-03-28 в hdfs и все было в порядке.
Но когда я выполняю (2019-03-30) это задание еще раз с этой же командой, тогда он не создает новый подкаталог "2019-03-29 "в каталоге" TABLE_NAME ".
Я имею в виду, что он должен создавать каталог, такой как TABLE_NAME / 2019-03-29, но он не создавал новый каталог в соответствии с параметром даты и добавлял дополнительные данные к тому жекаталог т.е. TABLE_NAME / 2019-03-28.
Как мне решить эту проблему?
Любая помощь по этому вопросу будет принята с благодарностью.
Примечание: я использую ApacheSqoop версия 1.4.6