Как я могу сохранить список ссылок на фреймы данных для последующего использования?

Question

Я пытаюсь сохранить коллекцию ссылок на объекты Spark для данных в фрейме, чтобы позже я мог выполнить итерацию по коллекции. В частности, я пытаюсь динамически разархивировать кадры данных, которые я сохранил в своем коде.

Вот что у меня есть:

class CacheCatalogue() 
{
  val CachedDataFrames = mutable.ArrayBuffer[DataFrame]()

  def AddToCache(dataFrame:DataFrame) 
  {
     dataFrame.cache
     CachedDataFrames += dataFrame
  }

}

val catalogue = new CacheCatalogue()

Однако, когда я выполняю какую-либо операцию с кадром данных, который был передан в функцию AddToCache (), возникает исключение «Я получаю задачу, не сериализуемую»

Почему это?

Answer 1

Пожалуйста, попробуйте ниже и посмотрите.

 val catalogue = new CacheCatalogue() with Serializable