Я пытаюсь импортировать данные оракула в Hive с помощью sqoop. Sqoop извлекает данные из оракула и правильно помещает их в hdfs.
Но когда должна быть часть импорта улья - она не работает. Sqoop пишет некоторые информационные сообщения, без ошибок и запросов, не выполняя задания импорта кустов.
мой вызов sqoop
sqoop import --connect jdbc:oracle:thin:@host:1521:SID --username username --password password --delete-target-dir --table TEST_SQOOP --hive-import --hive-database db -m 1 -verbose
и получить такой вывод с многословным (его конец)
19/06/03 18:28:02 DEBUG hive.TableDefWriter: Create statement: CREATE TABLE IF NOT EXISTS `db`.`TEST_SQOOP` ( `A` DOUBLE, `B` STRING, `D` STRING) COMMENT 'Imported by sqoop on 2019/06/03 18:28:02' ROW FORMAT DELIMITED FIELDS TERMINATED BY '\001' LINES TERMINATED BY '\012' STORED AS TEXTFILE
19/06/03 18:28:02 DEBUG hive.TableDefWriter: Load statement: LOAD DATA INPATH 'hdfs://hadoop/user/airflow/TEST_SQOOP' INTO TABLE `db`.`TEST_SQOOP`
19/06/03 18:28:02 DEBUG ipc.Client: The ping interval is 60000 ms.
19/06/03 18:28:02 DEBUG ipc.Client: Connecting to hadoop-m1/ip:8020
19/06/03 18:28:02 DEBUG ipc.Client: IPC Client (2071364564) connection to hadoop-m1/ip:8020 from airflow: starting, having connections 2
19/06/03 18:28:02 DEBUG ipc.Client: IPC Client (2071364564) connection to hadoop-m1/ip:8020 from airflow sending #779
19/06/03 18:28:02 DEBUG ipc.Client: IPC Client (2071364564) connection to hadoop-m1/ip:8020 from airflow got value #779
19/06/03 18:28:02 DEBUG ipc.ProtobufRpcEngine: Call: getFileInfo took 69ms
19/06/03 18:28:02 INFO hive.HiveImport: Loading uploaded data into Hive
Logging initialized using configuration in jar:file:/usr/hdp/2.5.3.0-37/hive/lib/hive-common-1.2.1000.2.5.3.0-37.jar!/hive-log4j.properties
, где эти "Инициализированная регистрация" - это его последнее выходное сообщение
но в улье ничего не происходит. Таблица не создана, данные не загружены.
Если я запускаю hive вручную с помощью команды hive, я могу без проблем выполнить операторы Create Table / LOAD DATA INPATH.
Почему sqoop не выполняет работу Hive?