Как получить информацию, связанную с исполнителем, из sparkcontext?

Question

Версия Spark 2.3.3. Я пытаюсь найти общую / использованную память вместе с активными / общими задачами и другими указаниями исполнителя c info.

В моем драйвере: -

sc.statusTracker.getExecutorInfos.foreach{
      x=>
        x.numRunningTasks()
    }

Я могу получить число запущенные задачи. Но мне также нужна общая / использованная память от этих исполнителей. У меня тысячи работ на кластере пряжи. Идея состоит в том, чтобы получить фактическое использование в сравнении с выделенной памятью, чтобы их можно было оптимизировать в дальнейшем.

Обновление: http: //: 8088 / proxy // api / v1 / application // executors предоставляет всю информацию, доступную на UI. За исключением памяти, используемой во время вычислений. Именно это я и ищу в основном.

Answer 1

Всю эту информацию можно увидеть на интерфейсе Spark или на сервере Spark History.

В Spark есть вкладка исполнителей, которая предоставляет информацию об исполнителях и распределении памяти, общем количестве исполнителей, задачах.

Если отправлено через YARN, вы также можете go через YARN и проверить журналы, в которых будут показаны детали, относящиеся к памяти, выделенной исполнителям.

Answer 2

Ищите s c. getExecutorMemoryStatus

Возвращает карту от ведомого устройства к максимальной памяти, доступной для кэширования, и оставшейся памяти, доступной для кэширования.

sc.getExecutorMemoryStatus.foreach {
  m => {
    println(s"Slave= ${m._1}")
    println(s"Max Memory Available= ${m._2._1}")
    println(s"Remaining Memory Available= ${m._2._2}")
  }
}