Hadoop: Редуктор генерирует ошибку - PullRequest
Новая
       8

Hadoop: Редуктор генерирует ошибку

0 голосов
/ 13 июля 2010

Я продолжаю получать Exceeded MAX_FAILED_UNIQUE_FETCHES на этапе сокращения.

Даже при том, что я попробовал все решения, которые я мог найти онлайн.

Узел: Службы установлены

Master_Node: Namenode, JobTracker

Файлы конфигурации прилагаются ниже:

core-site.xml 

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop-datastore/hadoop-${user.name}</value>
        <description>Hadoop Data Store</description>
    </property>

    <property>
        <name>fs.default.name</name>
        <value>hdfs://172.16.8.3:54310/</value> 
    </property>
</configuration>

mapred-site.xml

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>172.16.8.3:54311</value>
    </property>
</configuration>

Ответы [ 2 ]

0 голосов
/ 25 января 2011

Я также столкнулся с этой ошибкой: Причина: java.io.IOException: Превышено MAX_FAILED_UNIQUE_FETCHES; выручая.

Для меня исправление заключается в использовании имен хостов вместо ip-адресов в core-site.xml и mapred-site.xml. Вам нужно будет отредактировать файл hosts и включить мастеров и рабов

0 голосов
/ 13 июля 2010

Эта ссылка , кажется, указывает, что это может быть проблема конфигурации сети.

Редукторам не удается получить карты (из-за неудачных попыток), что может быть связано с проблемой сети / конфигурации, из-за которой они не могут запрашивать сервер Jetty.

Отказ от ответственности: Я профессионально не пользовался Hadoop

...