Я использую AWS EMR версии Amazon 2.8.5.У меня есть один NameNode и два узла данных.Задания MapReduce работают нормально.И я также могу загружать данные Oracle в хранилище HDFS с помощью следующей команды -
sqoop import --connect jdbc:oracle:thin:USERNAME/system@HOST:PORT:ORACLE_SERVICE --username USERNAME --password PASSWORD --table TABLE_NAME --check-column LAST_UPDATE_TIME --incremental lastmodified --last-value '2019-03-12 11:32:20.657608' --merge-key PRIMARY_KEY --target-dir /TARGET_DIR -m 2
Эта команда работает нормально, она извлекает данные из базы данных Oracle и выполняет операции вставки обновления в HDFS.
Но я хочу создать для этого задание sqoop, потому что в следующий раз, когда я выполню эту команду, я не хочу передавать последнее значение вручную.
Итак, чтобы создать задание sqoop, я выдал следующеекоманда: -
sqoop job --create sqoop_job1 -- import --connect jdbc:oracle:thin:USERNAME/system@HOST:PORT:ORACLE_SERVICE --username USERNAME --password PASSWORD --table TABLE_NAME --check-column LAST_UPDATE_TIME --incremental lastmodified --last-value '2019-03-12 11:32:20.657608' --merge-key PRIMARY_KEY --target-dir /TARGET_DIR -m 2
Но эта команда выдает ошибку.
Подскажите, пожалуйста, как мне создать задание sqoop в AWS EMR.
Note : This command is working fine with Apache Hadoop but throws error in AWS EMR platform.
Заранее спасибо.