Hadoop copyFromLocal проблема с копированием каталога - PullRequest
0 голосов
/ 23 июня 2011

Я бы хотел скопировать весь локальный каталог с некоторыми подкаталогами и файлами в HDFS.HDFS уже содержит корневой каталог и несколько подкаталогов с файлами.Я просто хочу добавить новые файлы из локального каталога.

Local directory /www/hitlogfetcher/logs/:
day=20--hour=00/files.....
  |-hour=01/files.....
  |-hour=02/files....

HDFS /hitlogfetcher-test/:
day==20--hour=00/files
   |-hour=01/

Когда я использовал команду: hadoop dfs -copyFromLocal / www / hitlogfetcher / logs / * / hitlogfetcher-test / я получил сообщение об ошибке:

Target /hitlogfetcher-test/day=20 is a directory
  • day = 20 - это каталог, который содержит несколько подкаталогов и файлов

Поэтому я хотел бы скопировать файлы из каталога hour = 01, а затем в cpy directory hour = 02 иего файлы.

Возможно ли это с помощью команд оболочки hadoop или другим способом?

Спасибо, Михал

1 Ответ

0 голосов
/ 11 августа 2011

Команда copyFromLocal по умолчанию загружает каталоги рекурсивно, поэтому вам не нужно указывать "*":

hadoop dfs -copyFromLocal /www/hitlogfetcher/logs/  /hitlogfetcher-test/
                                                  ^ 
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...