Искра автоматически разливается на диск?

Question

У меня есть кластер, состоящий из 10 узлов, каждый из которых имеет память 244 ГБ и 1 ТБ памяти.

Если у меня есть набор данных, который имеет размер 500 ГБ x10, по умолчанию автоматически запускается разлив диска или мне нужно вызвать persist и уровень хранения по умолчанию MEMORY_AND_DISK?

Answer 1

cache будет кешировать данные в память, и когда память заполнится, она попадет на диск. Уровень хранения по умолчанию - MEMORY_AND_DISK. Если вам нужен какой-либо другой параметр, вы можете предоставить этот параметр, используя метод persist с желаемым параметром для сохранения результатов.

persist имеет другие параметры, но cache аналогичен сохранению с параметром MEMORY_AND_DISK.