Передача вывода tar в каталог в формате hdfs - PullRequest
0 голосов
/ 25 сентября 2019

У меня есть файл modelling_data.gz с несколькими файлами в папке hdfs.Я заинтересован в распаковке содержимого этой папки в каталог hdfs.

Я пробовал следующее:

hadoop fs -cat /production/rwi/data/dpt/pa/projects/modelling_data.gz | tar -xOzvf - 

, но это просто распаковывает содержимое в локальную папку (как и ожидалось).

Как передать его в папку hdfs:

Я попробовал следующее:

hadoop fs -cat /production/rwi/data/dpt/pa/projects/modelling_data.gz | tar -xOzvf - | hadoop fs -copyFromLocal - /production/rwi/data/dpt/pa/projects/ 

, но при этом создается файл с именем -.Мне нужны отдельные файлы внутри .gz файла.

Спасибо!

...