Детали Java похожи на: -
java version "1.8.0_221"
java(TM) SE Runtime Environment (build 1.8.0_221-b11)
Детали переменных пути Env имеют вид: -
Env variable path :
C:\Program Files\Java\jdk1.8.0_221\bin
Использование интерфейса
pycharm and python 2.7 version
ОС: Window10
Код: -
import pyspark.sql.functions as F
from pyspark.shell import sqlContext
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("Test").getOrCreate()
df1= spark.createDataFrame(AVM)
df2 = spark.createDataFrame(HPH)
final = df1.join df2 , df1.XPHV == df2.XDOR)
final.registerTempTable("ALLDT")
код работает нормально до регистрации временной таблицы. (Процесс завершен с кодом выхода 0)
sqlContext.sql("select distinct AD1 from ALLDT")
But when I am calling temp table ALLDT getting error as "Unable to locate hive jars to connect to metastore. Please set spark.sql.hive.metastore.jars."
Как я могу решить эту проблему, пожалуйста, поделитесь своим предложением.