Операция записи Spark Dataframe очищает кэшированный Dataframe

Question

Spark очищает кэшированный RDD после того, как на некоторые кадры данных, поступившие из этого кэша после некоторых преобразований, вызвано действие записи.Поэтому любое дальнейшее действие, которое могло бы использовать кеш, должно пересчитать СДР.Однако, если действие заменяется любым другим действием, таким как подсчет или получение, кэш сохраняется и может использоваться в последующих операциях.

Почему это происходит?

Answer 1

Сначала вы можете использовать одно действие, такое как df.count (), после того, как вы кешируете фрейм данных, затем фрейм данных будет кеширован.Используйте write () после запуска кеша другими действиями.