Sq oop терпит неудачу с нераспознанным аргументом - PullRequest
Новая
       18

Sq oop терпит неудачу с нераспознанным аргументом

0 голосов
/ 14 января 2020

У меня есть несколько файлов в HDFS. Пытаюсь загрузить до Oracle. Использование этого скрипта с давних времен. Но в последнее время тот же процесс дал мне ошибку. Вот код : 

#!/bin/bash

refDate=`date --date="2 days ago" "+%Y-%m-%d"`
func_data_load_to_dwh()
{
        date
        if [[ ! -z `hadoop fs -ls /data/dna_data/dna_daily_summary_data/pdate=${refDate}/*` ]]
        then
                file=`hadoop fs -ls /data/dna_data/dna_daily_summary_data/pdate=${refDate}/|grep dna_daily_summary_data |awk '{print $NF}'`
                sqoop export --connect jdbc:oracle:thin:@//raxdw-scan:1628/raxdw --username schema_name --password 'password' --table TBL_DNA_DATA_DAILY_SUMMARY --export-dir ${file} --input-fields-terminated-by '|' --lines-terminated-by '\n' --direct
}
#_________________ main function ________________
        func_data_load_to_dwh

Код ошибки: 

20/01/14 11:05:12 ERROR tool.BaseSqoopTool: Unrecognized argument: /data/dna_data/dna_daily_summary_data/pdate=2020-01-12/f14873b51555a17d-946772b200000029_1797907225_data.0.
20/01/14 11:05:12 ERROR tool.BaseSqoopTool: Unrecognized argument: --input-fields-terminated-by
20/01/14 11:05:12 ERROR tool.BaseSqoopTool: Unrecognized argument: |
20/01/14 11:05:12 ERROR tool.BaseSqoopTool: Unrecognized argument: --lines-terminated-by
20/01/14 11:05:12 ERROR tool.BaseSqoopTool: Unrecognized argument: \n
20/01/14 11:05:12 ERROR tool.BaseSqoopTool: Unrecognized argument: --direct

Но если я запускаю вручную один файл из оболочки, он запускается отлично: 

sqoop export --connect jdbc:oracle:thin:@//raxdw-scan:1628/raxdw --username schema_name --password 'password' --table TBL_DNA_DATA_DAILY_SUMMARY --export-dir /data/dna_data/dna_daily_summary_data/pdate=2020-01-12/784784ec62558fea-1d14102000000029_1144698661_data.0. --input-fields-terminated-by '|' --lines-terminated-by '\n' --direct

Немного странно, потому что раньше это работало. Все, что я сделал, это изменил каталог в if состоянии. Ничего больше. Не могли бы вы предложить что-нибудь

...