Как настроить карты в заданиях MR для выполнения партиями? - PullRequest
0 голосов
/ 30 августа 2018

Работа по уменьшению карты порождает несколько картографов и работает в Yarn. Как запустить эти картографы в партиях. Скажем, если задание MR породило 100 карт, как запускать только 10 одновременно и как настроить следующие 10 картографов, которые будут выбраны после завершения предыдущего набора. В настоящее время все мапперы работают параллельно.

1 Ответ

0 голосов
/ 30 августа 2018

Если вы используете Hadoop 2.7 или новее, вы можете использовать mapreduce.job.running.map.limit свойство ограничивать количество одновременно работающих картографов

...