Используемая и кэшированная память в Spark

Question

Я хотел бы знать, использует ли spark кэшированную память Linux или используемую память Linux, когда мы используем метод cache / persist.

Я спрашиваю об этом, потому что у нас есть кастер, и мы видим, что машины используются только на 50% используемой памяти и на 50% кэшированной памяти, даже когда у нас длинные работы.

Заранее спасибо,

Answer 1

Кэшированная / буферизованная память - это память, которую Linux использует для кэширования диска.Когда вы читаете файл, он всегда читается в кэш памяти.Вы можете считать кэшированную память свободной памятью.Процесс JVM для spark executor не занимает напрямую кэшированную память.Если вы видите, что на вашей машине используется только 50% памяти, это означает, что искровый исполнитель определенно не занимает более 50% памяти.Вы можете использовать утилиты top или ps, чтобы узнать, сколько фактически занимает память искрового исполнителя.Обычно это немного больше, чем текущий размер кучи.