В документе Spark говорится, что уровень хранилища по умолчанию - MEMORY_ONLY, однако в комментариях исходного кода говорится, что это MEMORY_AND_DIST.
/**
* Persist this Dataset with the default storage level (`MEMORY_AND_DISK`).
*
* @group basic
* @since 1.6.0
*/
def persist(): this.type = {
sparkSession.sharedState.cacheManager.cacheQuery(this)
this
}