Добавление нескольких файлов в распределенный кеш Hadoop? - PullRequest
Новая
       2

Добавление нескольких файлов в распределенный кеш Hadoop?

4 голосов
/ 03 сентября 2010

Я пытаюсь добавить несколько файлов в распределенный кеш hadoop. На самом деле я не знаю имен файлов. Они будут названы как part-0000*. Может кто-нибудь сказать мне, как это сделать?

Спасибо Bala

Ответы [ 3 ]

2 голосов
/ 03 сентября 2010

Вы можете использовать команду hadoop -put или -copyFromLocal: 

hadoop fs -copyFromLocal /home/hadoop/outgoing/* /your/hadoop/dir
1 голос
/ 21 февраля 2012

Я решил эту проблему, хотя, может быть, немного поздно: 

FileSystem fs = directoryPath.getFileSystem(getConf());
FileStatus[] fileStatus = fs.listStatus(directoryPath);
for (FileStatus status : fileStatus) {
    DistributedCache.addFileToClassPath(status.getPath(), conf);
}

Это то, что вы хотели сделать?

0 голосов
/ 04 сентября 2010

Ничто не мешает вам программно получить список файлов, если они все находятся в одном каталоге, и добавлять их один за другим, верно? Или ваш случай отличается?

...