У меня есть приложение spark, которое читает много файлов и применяет много преобразований
, поскольку мы знаем, что с любой искрой преобразования создайте новый фрейм данных, то есть он не будет загрязнять JVM (все накладные расходы G C) и если да, то как избавиться от каждого DF, созданного после его использования
Я знаю, что в spark используется DAG, и поэтому созданные DF прозрачны для него (все равно, сколько созданных DF), однако для scala разве это не проблема? (если так, как решить это?)