Stati c df внутреннее объединение Структурированная потоковая передача df в Pyspark: pyspark. sql .utils.AnalysisException - PullRequest
0 голосов
/ 03 марта 2020

Ниже приведена информация о структурированных потоковых данных и фрейме статистических данных.

>>> statis_df 
DataFrame[uuid: string, rec_time: timestamp]
#structured streaming df
>>> df_2
DataFrame[key: string, rec_time: timestamp, devId: string]
joined_df = static_df.alias("static").join(df_2.alias("streaming"), col("static.uuid") == col("streaming.devId"), "inner")
S_joined_df = joined_df.writeStream.format("memory").queryName('joined_df').start()
spark.sql("select * from joined_df")

Возвращено pyspark.sql.utils.AnalysisException: 'java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient;' Ошибка: enter image description here

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...