Создать Sqoop Hive Import Job

Question

Я успешно выполнил специальный импорт из таблицы оракулов в таблицу Hive с помощью Sqoop.Теперь я хочу создать и сохранить задание Sqoop с точными параметрами, которые я использовал для специального импорта.

Но если я скажу:

sqoop job --create myjob --import \ --connect jdbc:mysql://host.port/foo \ --username myUserName \ --password-file file:///myfile.pwd \ --table mytable \ --create-hive-table \ --hive-import \ --hive-database my_hive_db \ --hive-table my_hive_table \ --fields-terminated-by '|' \ --hive-drop-import-delims \ --m 1

Я получуОШИБКА:

19/03/05 14:56:41 ERROR tool.BaseSqoopTool: Error parsing arguments for job: 19/03/05 14:56:41 ERROR tool.BaseSqoopTool: Unrecognized argument: --import 19/03/05 14:56:41 ERROR tool.BaseSqoopTool: Unrecognized argument: --connect 19/03/05 14:56:41 ERROR tool.BaseSqoopTool: Unrecognized argument: jdbc:mysql:@host:port/foo Если я удаляю все \, это все равно не работает.

Как определить задание Sqoop со всеми необходимыми параметрами для импорта Hive?

Answer 1

Не уверен, что приведенный вами пример неверен, но я всегда использовал немного другой синтаксис, когда импорт не был флагом внутри задания.

Из документации эти 2 синтаксиса кажутся мне знакомыми:

sqoop import (generic-args) (import-args)
sqoop-import (generic-args) (import-args)

Answer 2

Вы пропали без вести space между -- и import.

Попробуйте следующий синтаксис:

sqoop job --create myjob  -- import \
--connect jdbc:mysql://host.port/foo \
--username myUserName \
--password-file file:///myfile.pwd \
--table mytable \
--create-hive-table \
--hive-import \
--hive-database my_hive_db \
--hive-table my_hive_table \
--fields-terminated-by '|' \
--hive-drop-import-delims \
--m 1 

Answer 3

Кажется, это проблема побега.Не должно быть пробела сразу после символов "\" в конце строки.Вы можете увидеть дополнительные пробелы с:

cat -A sqoop_script.sh