выпуск промежуточной таблицы импорта sqoop - PullRequest
0 голосов
/ 24 декабря 2018

Я пытаюсь импортировать данные из teradata в папку HDFS.У меня есть доступ для просмотра этой базы данных.Поэтому я создал промежуточную таблицу в другой базе данных.Но когда я пытаюсь запустить код, он говорит об ошибке

Ошибка: запуск версии Sqoop: 1.4.6.2.6.5.0-292 18/12/23 21:49:41 WARN tool.BaseSqoopTool:Установка пароля в командной строке небезопасна.Попробуйте вместо этого использовать -P.18/12/23 21:49:41 ОШИБКА tool.BaseSqoopTool: Ошибка разбора аргументов для импорта: промежуточная таблица, t_hit_data_01_staging, –clear-staging-таблица, --query, выбор * из таблицы1, где приведено (дата1 как дата) <= дата '2017-09-02' и $ УСЛОВИЯ, --target-dir, <>, --split-by, date1, -m, 25

Я предоставил данные промежуточной таблицыв коде и запустил его.но выдает ошибку.(Error parsing arguments from import and as un-recognized arguments from staging table)

sqoop import \ 
--connect jdbc:teradata://<server_link>/Database=db01 \
--connection-manager org.apache.sqoop.teradata.TeradataConnManager \
--username <UN> \
--password <PWD> \
–-staging-table db02.table1_staging –clear-staging-table \
--query "select * from table1 where cast(date1 as Date) <= date '2017-09-02' and \$CONDITIONS " \
--target-dir '<hdfs location>' \
--split-by date1 -m 25`

Данные должны быть загружены в расположение HDFS с использованием промежуточной таблицы в другой базе данных в Teradata. Затем при изменении предложения where это sqoop должно создать другой файл под тем жепапка в папке HDFS.Пример: part-0000, следующий файл как -0001 и т. Д.,

1 Ответ

0 голосов
/ 06 февраля 2019

Не думаю, что для команды импорта доступна промежуточная опция.

https://sqoop.apache.org/docs/1.4.0-incubating/SqoopUserGuide.html

...