Spark with Hive: таблица или вид не найдены - PullRequest
Новая
       21

Spark with Hive: таблица или вид не найдены

0 голосов
/ 20 сентября 2018

ApplicationMaster: Исключение класса пользователя: org.apache.spark.sql.AnalysisException: Таблица или представление не найдено: "DB_X". "Table_Y"

Сеанс Spark: 

  SparkSession
    .builder()          
    .appName(appName)
    .config("spark.sql.warehouse.dir", "/apps/hive/warehouse")
    .enableHiveSupport()
    .getOrCreate();

Каталог хранилища Hive в hive-site.xml: / apps / hive / warehouse / 

hadoop fs -ls /apps/hive/warehouse/
drwxrwxrwx   - root hadoop          0 2018-09-03 11:22 /apps/hive/warehouse/DB_X.db


hadoop fs -ls /apps/hive/warehouse/DB_X.db
none

Ошибка здесь: 

spark
   .read()
   .table("DB_X.table_Y");

в java:

spark.sql("show databases").show()
default

в интерактивной оболочке spark: 

spark.sql("show databases").show()
default
DB_X

показать создать таблицу table_Y: 

CREATE EXTERNAL TABLE `table_Y`(
...
PARTITIONED BY (
  `partition` string COMMENT '')
...
    location '/data/kafka-connect/topics/table_Y'

файлы hadoop: 

hadoop fs -ls /data/kafka-connect/topics/table_Y
drwxr-xr-x   - kafka hdfs          0 2018-09-11 17:24 /data/kafka-connect/topics/table_Y/partition=0
drwxr-xr-x   - kafka hdfs          0 2018-09-11 17:24 /data/kafka-connect/topics/table_Y/partition=1

hadoop fs -ls data/kafka-connect/topics/table_Y/partition=0
-rw-r--r--   3 kafka hdfs     102388 2018-09-11 17:24 /data/kafka-connect/topics/table_Y/partition=0/table_Y+0+0001823382+0001824381.avro
-rw-r--r--   3 kafka hdfs     102147 2018-09-11 17:24 /data/kafka-connect/topics/table_Y/partition=0/table_Y+0+0001824382+0001825381.avro
...

все отлично работает в spark-shell или hive-shell

hive-site.xml из hive conf копируется в spark2 / conf

с использованием HDP 2.6.4.0-91 с искрой 2.2

любая помощь?

...