Чисто разделить фазы Hadoop

Question

Я заинтересован в тестировании кластера Hadoop на определенных этапах выполнения MapReduce.То есть я хотел бы получить четкое разделение между фазой карты, фазой тасования и фазой сокращения.

Есть ли способ воздержаться от перетасовки или уменьшения чего-либо до всех задач картызакончили, и воздерживались от сокращения до всех перемешиваний?Меня не волнует влияние на время выполнения, потому что меня интересует только потребление ресурсов на каждом из этих этапов.

Я видел еще один пост SO о разделении задач на определенных узлах, установив для mapred.tasktracker.reduce.tasks.maximum значение0 на узлах, которые не должны уменьшаться, и mapred.tasktracker.map.tasks.maximum до 0 на узлах, которые не должны отображаться, но в этом случае сопоставление и сокращение задач по-прежнему выполняются одновременно, и я также не могу использовать свой полный кластерза каждую фазу.

Спасибо!

Answer 1

Есть ли способ воздержаться от перетасовки или уменьшения чего-либо до завершения всех задач карты, и воздерживаться от уменьшения до тех пор, пока не будут завершены все перемешивания?

mapreduce.job.reduce.slowstart.completedmaps установлен на 0,05и определяется как Fraction of the number of maps in the job which should be complete before reduces are scheduled for the job.

Установите для вышеуказанного параметра значение 1, и перемешивание не начнется до тех пор, пока не будут выполнены все задачи карты.