Согласно документации можно указать Spark отслеживать "вне области" контрольные точки - те, которые больше не нужны - и удалять их с диска.
SparkSession.builder
...
.config("spark.cleaner.referenceTracking.cleanCheckpoints", "true")
.getOrCreate()
Очевидно, что это так, но проблема, однако, в том, что последние контрольные точки никогда не удаляются.
Вопрос
- Есть ли какая-либо конфигурация, по которой мне не хватаетвыполнить все очистки?
- Если нет: Есть ли способ получить имя временной папки, созданной для конкретного приложения, чтобы я мог программно удалить ее?Т.е. получить
0c514fb8-498c-4455-b147-aff242bd7381 из SparkContext так же, как вы можете получить applicationId