spark.memory.fraction значение по умолчанию составляет 60%
Это означает, что если я задаю --executor-memory в качестве 10 ГБ, то 60% из 10 ГБ составляет 6 ГБ. Это означает, что 6 ГБ ОЗУ будет совместно использоваться памятью (выполнение + хранение). Я знаю, что всегда есть 300 МБ для зарезервированной памяти
Теперь есть еще один конф памяти spark.memory.storageFraction, который по умолчанию составляет 50%. В нем говорится, что «Объем памяти хранения, невосприимчивый к выселению, выраженный в виде доли от размера области, выделенной spark.memory.fraction».
Я не могу понять это «Объем памяти хранения, невосприимчивый к eviction. "
Насколько я понимаю, spark.memory.storageFraction означает, что 50% (6G) будет использоваться памятью для хранения данных кэша. если приложение пытается сохранить больше данных кэша выше 50% от 6G, тогда эти дополнительные данные кэша будут пролиты на диск. Это правильно?