Как узнать, происходит ли приоритетное распределение в планировщике справедливой доли пряжи? - PullRequest
Новая
       8

Как узнать, происходит ли приоритетное распределение в планировщике справедливой доли пряжи?

0 голосов
/ 02 июля 2018

Есть ли способ узнать наверняка, был ли запущен механизм вытеснения на YARN?

В диспетчере ресурсов YARN или в логах может быть?

1 Ответ

0 голосов
/ 02 июля 2018

Если ваш уровень журнала установлен на info, вы должны увидеть это в журналах менеджера ресурсов YARN. 

            // Warn application about containers to be killed
            for (RMContainer container : containers) {
              FSAppAttempt app = scheduler.getSchedulerApp(
                      container.getApplicationAttemptId());
              LOG.info("Preempting container " + container +
                      " from queue " + app.getQueueName());
              app.trackContainerForPreemption(container);
            }

при https://github.com/apache/hadoop/.../scheduler/fair/FSPreemptionThread.java#L143.

А если у вас уровень журнала debug, вы также увидите это: 

    if (LOG.isDebugEnabled()) {
      LOG.debug(
          "allocate: post-update" + " applicationAttemptId=" + appAttemptId
              + " #ask=" + ask.size() + " reservation= " + application
              .getCurrentReservation());

      LOG.debug("Preempting " + preemptionContainerIds.size()
          + " container(s)");
    }

в https://github.com/apache/hadoop/.../scheduler/fair/FairScheduler.java#937

...