spark-atlas-connector: исключение класса «SparkCatalogEventProcessor-thread» - PullRequest
Новая
       131

spark-atlas-connector: исключение класса «SparkCatalogEventProcessor-thread»

2 голосов
/ 06 мая 2020

После выполнения инструкций для spark-atlas-connector . Я получаю ошибку ниже при запуске простого кода для создания таблицы в Spark

Spark2 2.3.1 Atlas 1.0.0

batch cmd: 

spark-submit --jars /home/user/spark-atlas-connector/spark-atlas-connector-assembly/target/spark-atlas-connector-assembly-0.1.0-SNAPSHOT.jar
--conf spark.extraListeners=com.hortonworks.spark.atlas.SparkAtlasEventTracker
--conf spark.sql.queryExecutionListeners=com.hortonworks.spark.atlas.SparkAtlasEventTracker
--conf spark.sql.streaming.streamingQueryListeners=com.hortonworks.spark.atlas.SparkAtlasStreamingQueryEventTracker
--files /home/user/atlas-application.properties
--master local
/home/user/SparkAtlas/test.py

Исключение в потоке «SparkCatalogEventProcessor-thread» java .lang.NoClassDefFoundError: org / apache / spark / sql / Catalyst / catalog / ExternalCatalogWithListener в com.hortonworks.spark.atlas. sql. process (SparkCatalogEventProcessor. scala: 36) в com.hortonworks.spark.atlas. sql .SparkCatalogEventProcessor.process (SparkCatalogEventProcessor. scala: 28) в com.hortonworks.spark.atlas.AbstractEventProcessor event $ $ 1.apply (AbstractEventProcessor. scala: 72) в com.hortonworks.spark.atlas.AbstractEventProcessor $$ anonfun $ eventProcess $ 1.apply (AbstractEventProcessor. scala: 71) в scala .Option.foreach (Option. scala: 257) на com.hortonworks.spark.atlas.AbstractEventProcessor.eventProcess (AbstractEventProcessor. scala: 71) на com.hortonworks.spark.atlas.AbstractEventProcessor $$ anon $ 1.ru n (AbstractEventProcessor. scala: 38) Вызвано: java .lang.ClassNotFoundException: org. apache .spark. sql .catalyst.catalog.ExternalCatalogWithListener в java. net .URLClassLoader.findClass (URLClassLoader. java: 382) в java .lang.ClassLoader.loadClass (ClassLoader. java: 424) в java .lang.ClassLoader.loadClass (ClassLoader. java: 357)

Заранее спасибо.

1 Ответ

2 голосов
/ 07 мая 2020

Это явное указание на несоответствие версий jar

для последней версии атласа 2.0.0 ... ниже приведены зависимости 

  <spark.version>2.4.0</spark.version>
    <atlas.version>2.0.0</atlas.version>
    <scala.version>2.11.12</scala.version>

Для Atlas 1.0.0 см. pom. xml для него ... это зависимости 

 <spark.version>2.3.0</spark.version>
    <atlas.version>1.0.0</atlas.version>
    <scala.version>2.11.8</scala.version>

попробуйте использовать правильные версии jar-файлов, посмотрев пом. xml, упомянутый в ссылке.

Примечание:
1) если вы добавите одну банку, увидев ошибку и загрузив ее ... и другое место, вы столкнетесь с препятствием. Посоветуйте использовать правильные версии.
2) Spark работает на Java 8+, Python 2.7 + / 3.4 + и R 3.1+. Для API Scala Spark 2.3.1 использует Scala 2.11. Вам потребуется совместимая версия Scala (2.11.x). проверьте свою версию scala, поскольку вы не упомянули в вопросе.

...