Как получить Месос Агенты Framework Executor Память

Question

Внутри веб-интерфейса Mesos я вижу использование памяти моих исполнителей Spark в таблице

Agents -> Framework -> Executors

Существует таблица со списком всех исполнителей для моего драйвера Spark, и их использование памятиуказано в столбце Mem (Used / Allocated).

Есть ли способ получить это число напрямую по ссылке, и если да, то как?

Например, я могу получить набор метрик Mesos через http://IP/mesos/metrics/snapshot но использование памяти исполнителями не входит в их число.

Answer 1

Нашел ответ сам.Для каждого работника / агента, на котором могут работать исполнители, прямой доступ к информации о памяти находится здесь:

http://IP_of_worker1:5051/slave(1)/monitor/statistics
http://IP_of_worker2:5051/slave(1)/monitor/statistics
и т. Д.

Содержание в формеjson и framework_id позволяет найти связанных исполнителей и их потребление памяти, использование процессора и т. д., что приведено в таблице.

Answer 2

Использование памяти исполнителями на самом деле связано с задачей mesos, означает для каждой задачи, сколько памяти потребят исполнители.

Если выше, что вам нужно, вы можете использовать следующие остальные API, чтобы получитьjson, а затем анализирует используемую память.

http://mesos_ip:5050/master/tasks

FYI.