Могу ли я принудительно запустить мои редукторы (фаза копирования) только после завершения всех картографов - PullRequest
6 голосов
/ 16 января 2012

У меня есть задание hadoop с довольно длинной фазой карты, и я хочу, чтобы другие короткие задания выполнялись в приоритетном порядке.Для этого я установил приоритет своей длинной работы с помощью hadoop job -set-priority job_id LOW.

Проблема в том, что для моей длинной работы фаза копирования редукторов начинается, даже если только 30% моегозадачи карты выполнены.

Моя сетка затем блокируется, так как все сокращенные слоты заняты заданием с низким приоритетом.Другие мелкие задания могут выполнять фазы карты, но они никогда не получат никакого сокращения, пока моя долгая работа не будет закончена.

Есть идеи?Благодарю.J.

1 Ответ

9 голосов
/ 26 января 2012

Я нашел ответ на свой вопрос: есть параметр conf задания, который точно выполняет задание:

mapred.reduce.slowstart.completed.maps = 0,90

задачи сокращения начинаются только после завершения 90% карт. Значение по умолчанию 0,05.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...