когда фрейм данных удаляется из памяти в pyspark, и как явно удалить фрейм данных

Question

Вот пример сценария, я хочу удалить df1, как только он больше не используется, где код для освобождения памяти -

df1 = spark.sql("Select 1 as X")
df2 = df1.withColumn("Y", df1["X"])

# here if I want to remove df1 then what should be the code.

df2.show()

Answer 1

Если мы используем df.persist () или какой-либо уровень кэша, мы можем отменить отображение Dataframe. Но здесь мы нигде не используем никакого кеширования. Если вы действительно хотите избавиться от sh из памяти, проверьте сборку мусора-настройку

https://github.com/apache/spark/blob/master/docs/tuning.md

Примечание. Датафрейм не содержит данных.