Использование dataset.persisit () и dataset.unpersist () в Java

Question

У меня есть набор данных Spark dataset. Мне нужно сделать .collectAsList() для каждого столбца набора данных. Как я могу использовать .persist() и .unpersist(), чтобы избежать огромного времени на операции?

Поскольку я новичок, я не уверен, как мне использовать постоянные функции. Нужно ли мне назначать это для набора данных как dataset=dataset.persist(); или просто dataset.persist() поможет?

Answer 1

если вы просто хотите кешировать набор данных, используйте dataset.persist (). Аналогично, dataset.unpersist () удаляет все блоки для него из памяти.