Spark - Нулевое значение возвращаемой таблицы Hive на оболочке - PullRequest
0 голосов
/ 22 мая 2019

Я пытаюсь получить данные таблицы улья на оболочке spark, используя spark.sql (""), но он дает нулевые значения.Таблица улья содержит данные.Даже я написал код с использованием объекта HiveContext, но проблема остается.

Ответы [ 2 ]

1 голос
/ 22 мая 2019
 hc=SQLContext(sc) 
 hc.sql("select * from <dbname>.<tablename> ").show()
0 голосов
/ 22 мая 2019

Не могли бы вы попытаться установить spark.sql.warehouse.dir в каталог вашего Hive Warehouse Directory вместо / user / hive / warehouse, а hive.metastore.uris для вашего экономичного сервера

val spark = SparkSession
  .builder()
  .appName("YourName")
  .config("spark.sql.warehouse.dir", "/user/hive/warehouse")
  .config("hive.metastore.uris", "thrift://localhost:9083")
  .enableHiveSupport()
  .getOrCreate()
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...