Тайм-ауты редуктора Hadoop - PullRequest
       0

Тайм-ауты редуктора Hadoop

2 голосов
/ 09 февраля 2012

Мой редуктор по какой-то причине истекает.Я пытаюсь -Dmapred.task.timeout изменить таймауты, но значение тайм-аута, похоже, не меняется.Также я не могу настроить количество картографов и редукторов через командную строку.Мои журналы кажутся чистыми, и время ожидания треккера истекло.Я называю внешний веб-сервис, но это не причина для тайм-аутов.Если количество точек данных во входном файле уменьшено, я не часто вижу эти таймауты.

1 Ответ

1 голос
/ 10 марта 2012

Настройте mapred.task.timeout (значение равно миллисекундам) в mapred-site.xml.

Убедитесь, что оно обновлено на всех узлах (Jobtracker + TaskTracker), и перезапустите jobtracker и все tasktrackers.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...