Делить ресурсы между картой / уменьшить - PullRequest
2 голосов
/ 26 марта 2012

Замедляет ли выполнение задачи карты задачу сокращения? Замедляясь, я имею в виду, они имеют общий ресурс?

1 Ответ

0 голосов
/ 31 марта 2012

Конечно, они так или иначе будут влиять на систему. Оба они являются процессами Java, работающими на одних и тех же машинах Однако в современных конфигурациях системы это не так уж важно, если вы не делаете глупостей с количеством слотов.

Каждая задача карты или задача сокращения сама по себе не является многопоточной или многопроцессорной, поэтому она будет в основном использовать только одно ядро ​​ЦП. Вот почему общее практическое правило - 1 карта или сокращение слота на ядро ​​имеет смысл. Итак, если у вас есть 12 ядер, вы можете сделать что-то вроде 8 слотов для карт и 4 слотов для сокращения.

Кроме того, задачи будут совместно использовать один и тот же диск, но обычно это не так уж и сложно, поскольку в системах имеется несколько дисков, а доступ к диску происходит в пакетном режиме.

Лучший способ определить лучшую конфигурацию - просто попробовать разные конфигурации. Нетрудно установить количество слотов, так что просто настройте его, а затем повторно запустите некоторые производственные репрезентативные задания.

Обратите внимание, что если вы выполняете только одно задание за раз, редукторы не будут делать много, пока работают преобразователи. В этом случае они не будут влиять друг на друга. Более реалистично, у вас будет запущено несколько заданий, и задачи сопоставления одного задания будут выполняться одновременно с редукторами другого задания.

...