Начиная с версии Apache Spark 1.6.0, модель управления памятью изменилась. Старая модель управления памятью реализована классом StaticMemoryManager и теперь называется «устаревшим». Режим «Legacy» по умолчанию отключен, что означает, что выполнение одного и того же кода на Spark 1.5.x и 1.6.0 приведет к другому поведению, будьте осторожны с этим. Для совместимости вы можете включить «устаревшую» модель с параметром spark.memory.useLegacyMode, который по умолчанию отключен.
Это также зависит от конфигурации кучи.