MapReduce распределенный кэш - PullRequest
Новая
       13

MapReduce распределенный кэш

1 голос
/ 02 июля 2010

Я добавляю файл в распределенный кеш Hadoop, используя 

     Configuration cng=new Configuration();
     JobConf conf = new JobConf(cng, Driver.class);
     DistributedCache.addCacheFile(new Path("DCache/Orders.txt").toUri(), cng);

, где DCache / Orders.txt - файл в HDFS.

Когда я пытаюсь извлечь этот файл из кэша в методе настройки маппера, используя: 

    Path[] cacheFiles=DistributedCache.getLocalCacheFiles(conf);

Я получаю нулевой указатель.В чем может быть ошибка?

Спасибо

1 Ответ

1 голос
/ 04 августа 2010

DistributedCache не работает в режиме с одним узлом, он просто возвращает нулевой указатель.Или, по крайней мере, это был мой опыт работы с текущей версией.

Я думаю, что URL должен начинаться с идентификатора hdfs.

http://hadoop.apache.org/common/docs/current/mapred_tutorial.html#DistributedCache

...