Не удается сообщить о заданиях потоковой передачи hadoop? - PullRequest
Новая
       6

Не удается сообщить о заданиях потоковой передачи hadoop?

0 голосов
/ 31 октября 2011

Все задания успешно выполнялись с использованием потоковой передачи hadoop, но внезапно я начал видеть ошибки из-за одной из рабочих машин 

Hadoop job_201110302152_0002 failures on master

Attempt Task    Machine State   Error   Logs
attempt_201110302152_0002_m_000037_0    task_201110302152_0002_m_000037 worker2 FAILED  
Task attempt_201110302152_0002_m_000037_0 failed to report status for 622 seconds. Killing!
-------
Task attempt_201110302152_0002_m_000037_0 failed to report status for 601 seconds. Killing!
Last 4KB
Last 8KB
All

Вопросы: 

- Why does this happening ?  
- How can I handle such issues?

Спасибо

1 Ответ

1 голос
/ 31 октября 2011

Описание для mapred.task.timeout со значением по умолчанию 600 с говорит «Количество миллисекунд до того, как задача будет завершена, если она не читает входные данные, не записывает выходные данные и не обновляет свою строку состояния."

Увеличение значения mapred.task.timeout может решить проблему, но вам необходимо выяснить, требуется ли более 600 секунд для задачи карты, чтобы завершить обработку входных данных или есть ошибкав коде, который необходимо отладить.

Согласно рекомендациям Hadoop, в среднем задача обработки карты должна занимать минуту или около того для обработки InputSplit.

...