Если ваша работа является конечной единицей работы, то вы должны использовать абстракцию Batch Ливи, а не Session.Session для интерактивной работы (например, Jupyter Notebook или Apache Zeppelin), где пользователи отправляют некоторые запросы, оценивают результаты и отправляют еще несколько.Batch, с другой стороны, больше всего напоминает то, что вы обычно отправляете, используя spark-submit исполняемый файл;он также завершится сам по себе, когда рабочие задачи будут выполнены, и очистит после себя, поэтому нет необходимости в пуле соединений.Тем не менее, пул соединений не имеет большого смысла и для Session, так как каждый сеанс имеет состояние (переменные, определенные в предыдущих инструкциях, выполняющихся в указанном сеансе), и это состояние не является (и не должно быть) общим