Spark sql не может найти таблицу в улье в HDP - PullRequest
Новая
       23

Spark sql не может найти таблицу в улье в HDP

0 голосов
/ 20 апреля 2019

Я использую HDP3.1, и я добавил необходимые Spark2, Hive и другие сервисы. Я включил функцию ACID в Hive. Искрящаяся работа не может найти стол в улье. Но таблица существует в Улей. Исключение любит: org.apache.spark.sql.AnalysisException: таблица или представление не найдены В папке conf Spark есть файл hive-site.xml. Он автоматически создается HDP. Но это не то же самое, что файл в папке conf улья. И из бревна искра может правильно получить URI экономичного куста. Я использую spark sql и создал одну таблицу ульев в spark-shell. Я обнаружил, что таблица была создана в сгибе, который указан в spark.sql.warehouse.dir. Я изменил его значение на значение hive.metastore.warehouse.dir. Но проблема все еще там. Я также включил поддержку улья при создании спарк-сессии. 

val ss = SparkSession.builder().appName("统计").enableHiveSupport().getOrCreate()

Ответы [ 2 ]

1 голос
/ 31 мая 2019

Вы можете использовать разъем hivewarehouse и использовать llap в hive conf

0 голосов
/ 23 апреля 2019

metastore.catalog.default находится в файле hive-site.xml в папке conf искры. Это значение искра. Это должно быть изменено на улей. И, кстати, мы должны отключить функцию ACID улья.

...