Мой вариант использования вращается вокруг перезапуска / очистки SparkSession для каждого выполнения задания. Когда мне нужно очистить SparkSession без перезапуска, я в настоящее время выполняю только sparkSession.catalog().clearCache();, но мне интересно, есть ли какие-либо другие объекты в сеансе Spark, которые мне нужно очистить, чтобы гарантировать, что никакая информация не будет перенесена на следующую выполнение.