распределенный кеш

Question

Я работаю с hadoop 19 на opensuse linux, я не использую какой-либо кластер, скорее запускаю свой код hadoop на самой машине.Я следую стандартному способу помещения в распределенный кеш, но вместо того, чтобы снова и снова обрабатывать файлы из распределенного кеша, я сохранял содержимое файла в массиве.эта часть извлечения из файла выполняется в функции configure ().я получаю nullPointerException, когда я пытаюсь использовать имя поля.это часть кода:

.
..part of main()
..
 DistributedCache.addCacheFile(new URI("/home/hmobile/hadoop-0.19.2/output/part-00000"), conf2);
             DistributedCache.addCacheFile(new URI("/home/hmobile/hadoop-0.19.2/output/part-00001"), conf2);
.

.part of mapper

public void configure(JobConf conf2)
{
      String wrd; String line;     try {
                localFiles = DistributedCache.getLocalCacheFiles(conf2);
                System.out.println(localFiles[0].getName());// error NULLPOINTEREXCEPTION
            } catch (IOException ex) {
                Logger.getLogger(blur2.class.getName()).log(Level.SEVERE, null, ex);
            }
            for(Path f:localFiles)// error NULLPOINTEREXCEPTION
            {
                 if(!f.getName().endsWith("crc"))
                 {
                    BufferedReader br = null;
                    try {
                        br = new BufferedReader(new FileReader(f.toString()));

может ли такая обработка не выполняться в configure ()?

Answer 1

Это будет зависеть от того, используете ли вы локальный исполнитель заданий (mapred.job.tracker = local) или если вы работаете в псевдораспределенном режиме (т.е. mapred.job.tracker = localhost: 8021 или = mynode.mydomain.com: 8021).Распределенный кеш NOT работает в локальном режиме, только в псевдораспределенном и полностью распределенном режимах.

Использование распределенного кеша в configure () возможно, в противном случае.