Как изменить каталог ".temp", созданный в HDFS, при запуске команды sqoop - PullRequest
Новая
       25

Как изменить каталог ".temp", созданный в HDFS, при запуске команды sqoop

0 голосов
/ 31 октября 2019

В целевом каталоге создается каталог «.temp» при импорте данных с использованием sqoop. Я хочу изменить местоположение каталога, в котором создаются каталоги .temp / job_1569164528775_11264 / mr / *. 

--temporary-root <> option is not working
-D hadoop.tmp.dir <> option is not working
-D yarn.app.mapreduce.am.staging-dir <>

просто меняет каталог ".staging", но не каталог ".temp"

команда: 

sqoop import -D yarn.app.mapreduce.am.staging-dir=/user/test/ --driver "com.microsoft.sqlserver.jdbc.SQLServerDriver" --connect "jdbc:sqlserver://ip:port;database=database;" --connection-manager "org.apache.sqoop.manager.SQLServerManager"  --username <username> -password <password> --table  'tablename'  --as-parquetfile  --delete-target-dir --target-dir /user/database/test/ --m 1

результат сейчас: 

hadoop fs -ls -R /user/database/test/

/user/database/test/.temp
/user/database/test/.temp/job_1569164528775_11264/mr/.....*

Ожидаемый результат: 

hadoop fs -ls -R /user/test/

/user/test/.temp/job_1569164528775_11264/mr/.....*
...