Как сохранить данные в нескольких средах с помощью команды sqoop - PullRequest
Новая
       10

Как сохранить данные в нескольких средах с помощью команды sqoop

0 голосов
/ 25 мая 2018

Мне нужно сохранять данные одновременно в HDFS и AWS S3.Я использовал приведенную ниже команду, но работает только первый указанный путь. 

sqoop import -D mapreduce.job.name=XXX-D mapred.job.queue.name=XX -Dhadoop.security.credential.provider.path=<path> -Dfs.s3a.server-side-encryption-algorithm=####--options-file <path> --query "select cols from DB.Table where UPDATETIME between to_date('2015-09-11 00:00:00','yyyy/mm/dd hh24:mi:ss') and to_date('2018-05-24 04:28:16','yyyy/mm/dd hh24:mi:ss') and \$CONDITIONS" --hive-delims-replacement ' ' --direct --m 1 --split-by ID --target-dir <S3 path> --target-dir <hdfs path>

1 Ответ

0 голосов
/ 25 мая 2018

Sqoop не поддерживает несколько целей.Вы можете попробовать двухэтапный подход:

  1. Sqoop импорт из DB в HDFS
  2. distcp из HDFSдо Amazon S3
...