Емкость очереди пряжи не работает должным образом для узлов CORE в EMR (emr-5.26.0) - PullRequest
Новая
       130

Емкость очереди пряжи не работает должным образом для узлов CORE в EMR (emr-5.26.0)

0 голосов
/ 13 марта 2020

Usecase => Создать две очереди YARN: Q1 и Q2 с конфигурацией ниже. 

[
  {
    "Classification": "capacity-scheduler",
      "Properties": {
"yarn.scheduler.capacity.root.queues" : "Q1,Q2",
"yarn.scheduler.capacity.root.Q1.capacity" : "60",
"yarn.scheduler.capacity.root.Q2.capacity" : "40",
"yarn.scheduler.capacity.root.Q1.accessible-node-labels" : "*", 
"yarn.scheduler.capacity.root.Q2.accessible-node-labels" : "*",
"yarn.scheduler.capacity.root.Q1.accessible-node-labels.CORE.capacity" : "60",
"yarn.scheduler.capacity.root.Q2.accessible-node-labels.CORE.capacity" : "40",
"yarn.scheduler.capacity.root.Q1.accessible-node-labels.CORE.maximum-capacity" : "60"
      }
  },
  {
    "Classification": "yarn-site",
      "Properties": {
        "yarn.acl.enable": "true",
        "yarn.resourcemanager.scheduler.class": "org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler"
      }
  }
]

Ожидаемое поведение : Q1 не должен использовать более 60% процентов узлов CORE, так что 40% всегда доступно для Q2. См. YARN do c для понимания конфигураций очереди. Другая ссылка для понимания конфигурации максимальной емкости в этой книге .

Фактическое поведение : Q1 использует более 60%, то есть «Абсолютная использованная емкость» для очереди » Q1 "больше, чем" Абсолютная сконфигурированная максимальная емкость ".

Это не соответствует документации YARN . Я хотел бы понять причину этого поведения. И альтернативные решения этого.

Обновление 1: Эта проблема, по-видимому, связана только с узлами CORE. Если я укажу ниже, это работает как ожидается для узлов задач. yarn.scheduler.capacity. root .Q1.maximum -acity: 60

EMR создает узлы CORE под меткой узла YARN как CORE . По умолчанию EMR создает эту метку узла. Подробнее о метках узлов YARN и EMR 5.19.0 с использованием функции меток узлов YARN . ИМХО, при использовании функции метки узла YARN для узлов CORE EMR либо перегружен, либо нарушил эту конфигурацию для узлов CORE.

...