Как настроить количество сумматоров в MapReduce? - PullRequest
0 голосов
/ 08 мая 2018

Как настроить количество сумматоров в MapReduce?

1 Ответ

0 голосов
/ 08 мая 2018

Вы не можете настроить количество сумматоров в Hadoop. Система автоматически определит, запускать их или нет. Нет гарантии, что они вообще будут работать.

Вы можете настроить логику запуска комбайнера , установив min.num.spills.for.combine.

В зависимости от версии hadoop, min.num.spills.for.combine устарела, а был заменен на mapreduce.map.combine.minspills.

...