Очередь YARN превышает максимальный предел для планировщика Capacity - PullRequest
Новая
       92

Очередь YARN превышает максимальный предел для планировщика Capacity

0 голосов
/ 12 февраля 2020

Я настраиваю aws кластер EMR, чтобы иметь несколько очередей. Я хочу, чтобы 2 очереди отправляли мою работу, и одна из них ( Очередь использование ) не должна использовать более 60% ресурсов узла CORE. Он может использовать 100% ресурсов экземпляров TASK.

Я добавил эту конфигурацию в свой скрипт cloudformation. И проверил эти изменения в планировщике емкости. xml, а также в YARN-интерфейсе. 

    - Classification: capacity-scheduler
      ConfigurationProperties:
        yarn.scheduler.capacity.resource-calculator: org.apache.hadoop.yarn.util.resource.DominantResourceCalculator
        yarn.scheduler.capacity.root.queues: default,reports,utilization
        yarn.scheduler.capacity.root.default.capacity: 10
        yarn.scheduler.capacity.root.reports.capacity: 30
        yarn.scheduler.capacity.root.utilization.capacity: 60
        yarn.scheduler.capacity.root.reports.accessible-node-labels: "*"
        yarn.scheduler.capacity.root.utilization.accessible-node-labels: "*"
        yarn.scheduler.capacity.root.default.accessible-node-labels.CORE.capacity: 10
        yarn.scheduler.capacity.root.reports.accessible-node-labels.CORE.capacity: 50
        yarn.scheduler.capacity.root.utilization.accessible-node-labels.CORE.capacity: 40
        yarn.scheduler.capacity.root.utilization.accessible-node-labels.CORE.maximum-capacity: 60
    - Classification: yarn-site
      ConfigurationProperties:
        yarn.acl.enable: true
        yarn.resourcemanager.scheduler.class: org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler

Но после запуска заданий в очереди utilziation я мог видеть, что он использует более 60% ресурсов на узле CORE. Но это не должно. См. Это изображение

В этом случае YARN не соответствует конфигурации максимальная емкость или я делаю что-то не так.

...