Таблица HIVE доступна в SPARK, но не отображается в Hive CLI - PullRequest
Новая
       28

Таблица HIVE доступна в SPARK, но не отображается в Hive CLI

0 голосов
/ 17 октября 2018

Этот вопрос является возможной копией этого , но приведенные ответы не являются удовлетворительными.

Я запустил следующий простой код на Zeppelin: (Тот же сценарий и с CLI pyspark) 

%spark2.pyspark
from pyspark.sql import HiveContext
sqlContext = HiveContext(sc)

df = sqlContext.read.format("csv").option("header", "false").option("mode", "DROPMALFORMED").load("/data/data1.csv")
df.write.mode('overwrite').saveAsTable("default.hive_spark");

Тогда: 

%spark2.pyspark
sqlDF = spark.sql("show tables")
sqlDF.show()

Показывает: 

+--------+----------------+-----------+
|database|       tableName|isTemporary|
+--------+----------------+-----------+
| default|      hive_spark|      false|
+--------+----------------+-----------+

Но когда я вхожук CLI HIVE (пользователь: hive) эта таблица не отображается: 

0: jdbc:hive2://ip-xxx.eu-west-3.com>USE default;
0: jdbc:hive2://ip-xxx.eu-west-3.com>SHOW TABLES;

+-----------+
| tab_name  |
+-----------+
| hive_test |
+-----------+

Я пытался 

sqlContext.uncacheTable("default.hive_spark")

Я в замешательстве.

...