Таблица Hive, созданная с помощью Spark, не видна в HUE / Hive GUI - PullRequest
Новая
       8

Таблица Hive, созданная с помощью Spark, не видна в HUE / Hive GUI

0 голосов
/ 23 мая 2018

Я создаю таблицу кустов из scala, используя следующий код: 

  val spark = SparkSession
    .builder()
    .appName("self service")
    .enableHiveSupport()
    .master("local")
    .getOrCreate()

  spark.sql("CREATE TABLE default.TEST_TABLE (C1 INT)")

Таблица должна быть успешно создана, потому что, если я запускаю этот код дважды, я получаю сообщение об ошибке, говорящее, что таблица уже существует.

Однако, когда я пытаюсь получить доступ к этой таблице из GUI (HUE), я не вижу ни одной таблицы в Hive, поэтому кажется, что она сохраняется по другому пути, который используется Hive в HUE для получения этой информации..

Знаете ли вы, что я должен сделать, чтобы увидеть таблицы, которые я создаю из своего кода из веб-интерфейса HUE / Hive?

Любая помощь будет принята с благодарностью.Большое спасибо.

1 Ответ

0 голосов
/ 23 мая 2018

Мне кажется, вы не добавили hive-site.xml в правильный путь.Hive-site имеет свойства, которые нужны свече для успешного подключения к Hive, и вы должны добавить это в каталог

SPARK_HOME / conf /

Вы также можете добавить этот файлс помощью spark.driver.extraClassPath и укажите каталог, в котором находится этот файл.Например в pyspark отправить 

/usr/bin/spark2-submit \
--conf spark.driver.extraClassPath=/../ Directory with Hive-site.xml / \
--master yarn --deploy-mode client --driver-memory nG --executor-memory nG \  
--executor-cores n myScript.py
...