Правильный способ создания и управления соединениями jdb c в spark java - PullRequest
1 голос
/ 06 января 2020

Я создаю приложение spark в java, которое будет извлекать записи из нескольких таблиц и сохранять их в наборе данных spark, а затем несколько раз будет манипулировать и обновлять эти записи в БД.

В настоящее время я создал широковещательная карта, которая содержит свойства базы данных (url, user, pass et c), и в каждом методе я создаю новое соединение, с помощью которого я выполняю свои sql запросы в jdb c. Обратите внимание, что это происходит во многих методах в разных классах.

Мне нужен эффективный способ управления соединением jdb c, чтобы он не создавал несколько соединений и, таким образом, влиял на производительность производственной базы данных. Есть ли способ один раз инициализировать пул Hikari и отправить его всем узлам исполнителей / рабочих? Или любой другой эффективный способ приветствуется.

Дайте мне знать, если вам нужно больше объяснений.

...