Правильное метастазирование кустов доступно в spark-shell, но не в файле spark-submit.jar

Question

Когда я бегу

spark-shell

в оболочке Linux, попробуйте:

spark.sql("show databases").show()

Я получаю правильный список баз данных (потому что я подключен к правильному метастару). Теперь, когда я отправляю свою банку со следующим кодом:

Отправить через -

spark-submit file.jar

Jar-код -

SparkConf conf = new SparkConf().setAppName("test");
SparkSession spark = SparkSession
            .builder()
            .config(conf)
            .enableHiveSupport()
            .getOrCreate();
spark.sql("show databases").show();

Моя единственная база данных в списке указана по умолчанию, поэтому она подключена к неверному метастагу улья. Я также попытался добавить .config("hive.metastore.uris", "thrift://localhost:9083") к моему spark объекту, но тот же результат. Этот uri такой же, как и /etc/spark/conf/hive-site.xml, что все правильно.

Как я могу это исправить?

Answer 1

Пожалуйста, попробуйте добавить --files /etc/hive/conf/hive-site.xml к вашей команде spark-submit.