невозможно загрузить данные в улей с помощью pyspark

Question

невозможно записать данные в улей с помощью pyspark через блокнот jupyter.

, что выдает ошибку ниже

Py4JJavaError: Произошла ошибка при вызове o99.saveAsTable. : org. apache .spark. sql .AnalysisException: java .lang.RuntimeException: java .lang.RuntimeException: Невозможно создать экземпляр org. apache .had oop .hive.ql.metadata .SessionHiveMetaStoreClient;

Обратите внимание, что уже предпринятые шаги:

1. скопировал hdfs-сайт. xml, core-site. xml в / conf hive
2. удалил metasotore_db и создал снова, используя ниже cmd $ HIVE_HOME / bin / schematool –initschema –dbtype derby

Answer 1

вы использовали spark-submit для запуска вашего скрипта? Также вы должны добавить -> ".enableHiveSupport ()" вот так:

spark = SparkSession.builder \
    .appName("yourapp") \
    .enableHiveSupport() \
    .getOrCreate()