Поддержка Hive требуется, чтобы CREATE Hive TABLE (КАК ВЫБРАТЬ)

Question

Я планирую сохранить фрейм данных spark в таблицы кустов, чтобы я мог запрашивать их и извлекать из них широту и долготу, поскольку фрейм данных Spark не повторяется.

С pyspark в jupyter я написал этот код, чтобы сделатьсеанс спарка:

import findspark
findspark.init()
from pyspark import SparkContext, SparkConf
from pyspark.sql import SparkSession

#readmultiple csv with pyspark
 spark = SparkSession \
.builder \
.appName("Python Spark SQL basic example") \
.config("spark.sql.catalogImplementation=hive").enableHiveSupport() \
.getOrCreate()

 df = spark.read.csv("Desktop/train/train.csv",header=True);

 Pickup_locations=df.select("pickup_datetime","Pickup_latitude",
                          "Pickup_longitude")

 print(Pickup_locations.count())

затем я запускаю hiveql:

df.createOrReplaceTempView("mytempTable") 
spark.sql("create table hive_table as select * from mytempTable");

И я получаю эту ошибку:

 Py4JJavaError: An error occurred while calling o24.sql.
 : org.apache.spark.sql.AnalysisException: Hive support is required to      CREATE Hive TABLE (AS SELECT);;
 'CreateTable `hive_table`,    org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe, ErrorIfExists
+- Project [id#311, vendor_id#312, pickup_datetime#313,    dropoff_datetime#314, passenger_count#315, pickup_longitude#316,     pickup_latitude#317, dropoff_longitude#318, dropoff_latitude#319,     store_and_fwd_flag#320, trip_duration#321]​

Answer 1

Я был в такой ситуации раньше.Вам нужно передать параметр config команде spark-submit, чтобы он рассматривал hive как реализацию каталога для вашей spark sql.

Вот как выглядит spark submit:

spark-submit --deploy-mode cluster --master yarn --conf spark.sql.catalogImplementation=hive  --class harri_sparkStreaming.com_spark_streaming.App  ./target/com-spark-streaming-2.3.0-jar-with-dependencies.jar

Хитростьнаходится в: --conf spark.sql.catalogImplementation=hive

Надеюсь, это поможет