Запрос Hive с помощью Spark SQL - PullRequest
Новая
       71

Запрос Hive с помощью Spark SQL

0 голосов
/ 10 мая 2019

Когда я пытаюсь выполнить следующий запрос, я получаю сообщение об ошибке ниже.Как я могу решить эту проблему? 

from pyspark.sql import SparkSession
spark = SparkSession.builder.enableHiveSupport().getOrCreate()
spark.sql("show databases").show()

java.io.FileNotFoundException:

Source '/var/lib/livy/.ivy2/jars/org.apache.zookeeper_zookeeper-3.4.6.jar 'не существует

Я использую AWS EMR со следующими компонентами:

Hive 2.3.4, Pig 0.17.0, JupyterHub 0.9.4, Ganglia 3.7.2, Spark 2.4.0, HBase 1.4.9

spark-defaults.conf имеет следующие соответствующие конфигурации: 

hive.metastore.uris              thrift://<node>:9083
spark.sql.broadcastTimeout       300
spark.sql.catalogImplementation  hive
spark.sql.warehouse.dir          hdfs:///user/spark/warehouse
spark.sql.hive.metastore.sharedPrefixes com.amazonaws.services.dynamodbv2
spark.sql.hive.metastore.jars    maven
spark.sql.hive.metastore.version 2.3
...