Я пытаюсь создать и выполнить sqoop job, чтобы получить данные из SQLSERVER и импортировать их в Hive, но команда не выполняется в процессе аутентификации. Однако если я выполню точно такую же команду, используя sqoop import, она сработает.
Что я делаю не так?
Пожалуйста, рассмотрите пример:
$CONNECTION_CFG_DATABASE_USERNAME и $CONNECTION_CFG_DATABASE_PASSWD являются 'admin'
"sqoop job --create $EXTRACTION_NAME -- import --connect '$CONNECTION_CFG_PREFIX_QUERY_STRING$CONNECTION_CFG_DATABASE_IP:$CONNECTION_CFG_SQLSERVER_
PORT;database=$CONNECTION_CFG_DATABASE_NAME' --username $CONNECTION_CFG_DATABASE_USERNAME --password $CONNECTION_CFG_DATABASE_PASSWD --table $CONNECTION_CFG_HIVE_TABLE_
NAME --target-dir $EXTRACTION_TARGET_DIR/$ID --hive-import --hive-database $CONNECTION_CFG_DATABASE_NAME --hive-table $CONNECTION_CFG_HIVE_TABLE_NAME --hive-partition-k
ey $HIVE_TABLE_PARTITION_KEY --hive-partition-value $ID -m $SQOOP_PARALLELISM --check-column $INCREMENTAL_FIELD --incremental lastmodified"
Это выше одного не удается. Я получаю следующий вывод:
ERROR manager.SqlManager: Error executing statement: com.microsoft.sqlserver.jdbc.SQLServerException: Login failed for user 'admin'. ClientConnectionId:25424a39-dd01-4439-bfc6-d7ef21c8b1a0
Тем не менее, этот ниже работает!
"sqoop --import --connect '$CONNECTION_CFG_PREFIX_QUERY_STRING$CONNECTION_CFG_DATABASE_IP:$CONNECTION_CFG_SQLSERVER_PORT;database=$CONNECTION_CFG_DATABASE_NAME' --username $CONNECTION_CFG_DATABASE_USERNAME --password $CONNECTION_CFG_DATABASE_PASSWD --table $CONNECTION_CFG_HIVE_TABLE_NAME --target-dir $EXTRACTION_TARGET_DIR/$ID --hive-import --hive-database $CONNECTION_CFG_DATABASE_NAME --hive-table $CONNECTION_CFG_HIVE_TABLE_NAME --hive-partition-key $HIVE_TABLE_PARTITION_KEY --hive-partition-value $ID -m $SQOOP_PARALLELISM --check-column $INCREMENTAL_FIELD --incremental lastmodified"
Мне нужно использовать sqoop job, так как я не знаю значения параметра last-value, и я бы хотел, чтобы sqoop обрабатывал его автоматически для меня.
Любая помощь будет очень признательна.