Конфигурации Hadoop не читаются

Question

Каждый раз, когда я пытаюсь запустить приложение mapreduce (в автономном Hadoop), оно пытается поместить вещи в каталог tmp, чего не может:

Exception in thread "main" java.io.IOException: Failed to set permissions of path: \tmp\hadoop-username\mapred\staging\username-1524148556\.staging to 0700

Это связано с использованием неверного пути (косая черта должна быть наоборот для cygwin).

Я установил hadoop.tmp.dir в core-site.xml (в папке conf Hadoop), но кажется, что файл конфигурации никогда не читается (если я помещаю синтаксические ошибки в файл, это не имеет значения) , Я добавил:

--config /home/username/hadoop-1.0.1/conf

К команде, но без разницы. Я также попробовал:

export HADOOP_CONF_DIR=/home/username/hadoop-1.0.1/conf

но, похоже, это не имеет никакого эффекта ...

Есть ли какие-нибудь указатели на то, почему конфиги не будут прочитаны, или что еще я здесь не вижу?

Спасибо!

Answer 1

Я нашел следующую ссылку полезной, похоже, проблема в более новой версии Hadoop.Я использую версию 1.0.4 и все еще сталкиваюсь с этой проблемой.

http://comments.gmane.org/gmane.comp.jakarta.lucene.hadoop.user/25837

ОБНОВЛЕНО: в Mahout 0.7 и для тех, кто использует книгу "Mahoot in Action"Например, вы должны изменить пример кода следующим образом:

    File outFile = new File("output");
    if (!outFile.exists()) {
        outFile.mkdir();
    }
    Path output = new Path("output");
    HadoopUtil.delete(conf, output);

    KMeansDriver.run(conf, new Path("testdata/points"), new Path("testdata/clusters"),
            output, new EuclideanDistanceMeasure(), 0.001, 10,
            true, 0.1, true);

Answer 2

Дело не в том, что косые черты инвертированы, а в том, что / tmp - это путь cygwin, который фактически отображается в / cygwin / tmp или c: \ cygwin \ tmp.Поскольку hadoop - это java, и он не знает о сопоставлениях cygwin, для обозначения c: \ tmp требуется / tmp.

есть очень много вещей, которые можно исправить, если вы хотите запустить 1.0.1 на cygwin.

см .: http://en.wikisource.org/wiki/User:Fkorning/Code/Hadoop-on-Cygwin