Как получить доступ к metastore Hive в Java-программе Spark в Maven? - PullRequest
Новая
       5

Как получить доступ к metastore Hive в Java-программе Spark в Maven?

0 голосов
/ 30 сентября 2018

Я написал проект maven на Java для хранения некоторых таблиц улья с использованием spark.Таблицы и метасора находятся в каталогах spark-warehouse и metastore_db в моей рабочей области Eclipse.Расположение spark-warehouse и metastore_db: /Users/username/workspace/Spark-Hive/load/spark-warehouse и /Users/username/workspace/Spark-Hive/load/metastore_db

Я написал другой проект maven для доступа к этим таблицам улья, используя следующий сеанс спарка: 

    String warehouseLocation = "/Users/username/workspace/Spark-Hive/load/spark-warehouse";
        SparkSession spark = SparkSession.builder()
                .appName("Load")
                .master("local[*]")
                .config("spark.sql.warehouse.dir", warehouseLocation)
//      .config("hive.metastore.warehouse.dir","/Users/username/workspace/Spark-Hive/load/metastore_db")
            .enableHiveSupport()
            .getOrCreate();

IЯ могу получить доступ к этим таблицам из моего первого проекта Maven, который я написал для загрузки таблиц, но не смог получить доступ к таблицам из моего второго проекта Maven.Я также дал путь улья metastore ко второй программе, но не работал.Как я могу получить доступ к этим таблицам улья в eclipse, используя проект maven?

1 Ответ

0 голосов
/ 30 сентября 2018

Дайте путь spark-warehouse следующим образом: 

String warehouseLocation = new File("/Users/username/workspace/Spark-Hive/load/spark-warehouse").getAbsolutePath();
...