Как освободить память в сеансе Pyspark

Question

Вот пример моего кода:

ses = SparkSession.Builder().config(conf=conf).enableHiveSupport().getOrCreate()
res = ses.sql("select * from tbl")
res.write.format("hive").saveAsTable("tablename"), mode='append')
res.unpersist()

Но после выполнения htop показывает, что этот процесс использует 63 ГБ ОЗУ.Также попробовал ses.catalog.clearCache(), ничего, еще 63ГБ использовал.

Как освободить память без повторной инициализации сеанса искры?

Редактировать.Также я попытался удалить объект res, все еще 63gb в htop.Тоже попробовал, ничего не печатает:

for (id, rdd) in ses.sparkContext._jsc.getPersistentRDDs().items():
    print(id, rdd)