Есть ли какой-нибудь способ сделать stati c подключение к базе данных красного смещения в спарк

Question

Я использую spark API spark.read.jdbc(String url,String table,java.util.Properties properties). Он создает фрейм данных со схемой, возвращаемой из таблиц базы данных.

Каждый раз, когда я вызываю вышеуказанный API, он создает запрос на соединение с кластером БД. Есть ли способ передать или создать одноэлементную вещь в API выше?

Answer 1

Spark оценивается как ленивый, следовательно, он будет срабатывать только при срабатывании любого действия, например, .load(). Я думаю, что Spark не может держать соединение с Redshift открытым, пока не будет выполнено следующее действие. Это особенность Spark, когда он получает соединение с опозданием и выпускает его, как только завершает действие.