Я искал показатели Ganglia для использования памяти для кластера EMR. Этот кластер имеет 10 базовых узлов типа r4.xlarge (4 vCore, 30,5 ГБ памяти). Таким образом, в общей сложности он имеет 305 ГБ ОЗУ. Мои метрики ганглиев для искровой работы (в процессе) выглядят примерно так:
Я предполагаю, что ганглии не знают о YARN, потому что по умолчанию в EMR YARN получает 75% общей памяти кластера. Но на изображении выше он показывает мне полную память, а не 75%. Исходя из этого предположения, мой вопрос в том, должен ли я быть в порядке, пока используемая память (синий компонент) находится в пределах этого 75% -ого предела, или мне нужно учитывать и кэш (зеленый компонент) при настройке ресурсов моего исполнителя?