Есть ли способ ограничить количество одновременных сокращений слотов на пользователя в hadoop? Мы хотим убедиться, что ни один пользователь не использует все доступные слоты сокращения в любое время.
Это возможно при использовании FairScheduler в текущей версии Hadoop . Вы можете выделить один пул для каждого пользователя, а затем установить maxReduces. Однако этот параметр недоступен в FairScheduler с 0.20.203 . Эта версия удобно имеет minReduces без maxReduces.
maxReduces
minReduces