Как увеличить уменьшить потоки сборщиков - PullRequest
0 голосов
/ 01 марта 2020

Моя конфигурация mapreduce.reduce.shuffle.parallelcopies значение равно 5.

И я проверяю журнал приложений, задание запускает 2 задачи сокращения, и каждая задача сокращения запускает только 2 средства извлечения для копирования из 43 выходных данных карты, а затем для завершения sh копирования данных из картографических выходов и объединения данных требуется 1 час 30 минут.

Поэтому мой вопрос: почему задача сокращения запускает только 2 сборщика, а не 5 сборщиков?

...