Я запускаю Spark 2.4.6 в веб-службе Python Flask. Я использую один контекст Spark, и я также включил планирование FAIR.
Каждый раз, когда пользователь делает запрос к одной из конечных точек REST, я вызываю spark = sparkSession.newSession(), а затем выполняю различные операции с помощью Spark SQL в этой несколько изолированной среде.
Меня беспокоит, что после 100, 10 000 или миллиона запросов с равным количеством новых сеансов в какой-то момент я столкнусь с проблемами? Есть ли способ сообщить моему SparkContext, что мне больше не нужен старый сеанс и что его можно очистить?