Не удалось выполнить сценарий Pyspark с использованием искрового действия в Ooz ie - Ошибка при создании экземпляра 'org. apache .spark. sql .hive.HiveExternalCatalog - PullRequest
Новая
       59

Не удалось выполнить сценарий Pyspark с использованием искрового действия в Ooz ie - Ошибка при создании экземпляра 'org. apache .spark. sql .hive.HiveExternalCatalog

0 голосов
/ 15 апреля 2020

Я сталкиваюсь с ошибкой ниже при запуске искрового действия через ooz ie рабочий процесс в кластере EMR 5.14:

pyspark. sql .utils.IllegalArgumentException: u "Ошибка при создании экземпляра 'org. apache .spark. sql .hive.HiveExternalCatalog'" Мой сценарий Pyspark работает нормально, когда выполняется как обычное задание зажигания, но не выполняется с помощью программы Oozie Pyspark: - 

    spark = SparkSession.builder.appName("PysparkTest").config("hive.support.quoted.identifiers", "none").enableHiveSupport().getOrCreate()
    sc = SparkContext.getOrCreate();
    sqlContext = HiveContext(sc)
    sqlContext.sql("show databases").show()

Я создал рабочий процесс. xml и job.properties, ссылаясь на LINK .

Я скопировал все файлы конфигурации, связанные со свечами и кустами, под тот же каталог ($ SPARK_CONF_DIR /). Hive также настроен на использование MySQL для метастаза.

Будет здорово, если вы поможете мне разобраться с проблемой, с которой я сталкиваюсь при запуске этой программы Pyspark в виде файла JAR в Унция ie искровое действие.

1 Ответ

0 голосов
/ 29 апреля 2020

Error while instantiating 'org.apache.spark.sql.hive.HiveExternalCatalog' Это означает, что Catalog банка, который он пытается найти, не является каталогом ooziesharelibb spark.

Пожалуйста, добавьте следующее свойство в ваш файл job.properties. 

oozie.action.sharelib.for.spark=hive,spark,hcatalog

Также не могли бы вы опубликовать весь журнал?

И, если возможно, не могли бы вы запустить то же самое на EMR 5.29, я столкнулся с небольшой проблемой jar на 5.26 и более низкой версии при запуске PySpark.

...