Какой слой БД вы планируете использовать - вы хотите сделать простой JDBC, JPA, Hibernate или что-то еще? Может быть, вы хотите использовать Spring?
Эти варианты повлияют на ваш ответ.
Например: с простым JDBC я мог бы пойти с Apache Commons dbcp с пулом соединений для каждой базы данных. Объединенный источник данных может быть легко помещен в JNDI, если это подходит вашему приложению.
Если вы переходите в режим гибернации, вам следует решить проблему с Google - в сети есть несколько обращений, описывающих вашу проблему.