Я хочу знать максимальный объем памяти JVM, используемый из выделенной памяти для настройки моего задания Spark. Для получения этого значения я попробовал метрики Spark Executor Metrics, предоставляемые REST API (" / applications / [app-id] / allexecutors "), упомянутые здесь , в этом ответе JSOS я обнаружил метрика под названием « memoryUsed », которая, как я думал, будет полезна для меня, но эта метрика всегда НУЛЬ. Любая помощь в получении этого пикового объема используемой памяти JVM будет действительно полезна.
Пробные версии Spark: 2.3 / 2.4