Hadoop: установить раб в качестве явного редуктора?

Question

мы используем многоузловую настройку hadoop в debian + ubuntu с последней стабильной версией hadoop. Можно ли установить конкретное ведомое устройство в качестве редуктора? я просто использую одну задачу редуктора и хочу назначить ее самой производительной рабыне. у нас есть 1 мастер, который просто назначает задачи рабам и 5 рабам, один из которых более мощный, чем другие.

заранее спасибо

Answer 1

Отключите слоты редуктора на всех других узлах, установив mapred.tasktracker.reduce.tasks.maximum в 0 во всех conf/mapred-site.xml файлах (кроме одного узла, который вы хотите уменьшить).

Или вы можете написать собственный класс LoadManagerдля честного планировщика (см. это ), но это намного больше работы.