Как подключиться к базам данных кустов в spark Используя Java

Question

Я могу подключиться к улью, используя hive.metastore.uris в Sparksession.Я хочу подключиться к определенной базе данных улья с этим соединением, чтобы мне не нужно было добавлять имя базы данных к именам каждой таблицы в запросах.Есть ли способ добиться этого?

Ожидается код что-то вроде

SparkSession sparkSession = SparkSession.config("hive.metastore.uris", "thrift://dhdhdkkd136.india.sghjd.com:9083/hive_database")

Answer 1

Вы можете использовать API каталога, доступный из SparkSession.

https://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.sql.catalog.Catalog

Вы можете позвонить sparkSession.catalog.setCurrentDatabase(<db_name>)