Как решить, когда использовать спарк кеш спарк или сохраняется?

Question

Я использую spark-sql для проекта переноса данных.Итак, как мне реализовать площадку в искре?когда использовать спарк кеш спарк или сохраняется?какие-либо случаи использования в реальном времени?

~ Sha

Answer 1

Аналогично RDD ( В чем разница между кэшем и постоянным хранилищем? ) единственная разница между cache и persist заключается в возможности установки режима хранения не по умолчанию.

Есть одно важное отличие.В отличие от RDD API, где cache использует MEMORY_ONLY, Dataset аналог использует MEMORY_AND_DISK.