У меня большая работа по объединению разных таблиц и, в конечном итоге, созданию сводной таблицы для окончательного отчета. Но каждый раз при получении окончательной сводной таблицы для некоторых фильтров работа длится очень долго до конца sh, и я полагаю из-за ленивой оценки Spark. Есть ли способ сначала оценить итоговую сводную таблицу, чтобы позже при фильтрации каждый раз она могла бы быть быстрее?
Я знаю, если я записываю эту сводную таблицу в хранилище и читаю ее обратно, это может решить проблема, но если я не хочу писать и читать обратно, есть ли другой способ?