Таким образом, по умолчанию искровое кеширование находится в памяти, и если данных недостаточно для размещения в памяти, оно будет перетекать на диск. Теперь, когда мы говорим о shuffle-data, который будет промежуточным результатом / выводом из mapper. По умолчанию искра будет хранить этот промежуточный вывод в памяти, но если не будет достаточно места, он будет хранить промежуточные данные на диске. Spark будет хранить эти данные в сериализованном формате, чтобы не приходилось каждый раз платить за десериализацию.