Получение java.lang.NoClassDefFoundError: ошибка scala / xml / MetaData в программе Scala - PullRequest
Новая
       21

Получение java.lang.NoClassDefFoundError: ошибка scala / xml / MetaData в программе Scala

0 голосов
/ 30 октября 2018

Я пытаюсь сохранить данные в файл avro, используя spark в scala, но получаю значение ниже Exception 

 Exception in thread "main" java.lang.NoClassDefFoundError: scala/xml/MetaData
    at org.apache.spark.ui.jobs.StagesTab.<init>(StagesTab.scala:33)
    at org.apache.spark.ui.SparkUI.<init>(SparkUI.scala:62)
    at org.apache.spark.ui.SparkUI$.create(SparkUI.scala:215)
    at org.apache.spark.ui.SparkUI$.createLiveUI(SparkUI.scala:157)
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:443)
    at tavant.user.UserData$.main(UserData.scala:18)
    at tavant.user.UserData.main(UserData.scala)
Caused by: java.lang.ClassNotFoundException: scala.xml.MetaData
    at java.net.URLClassLoader.findClass(Unknown Source)
    at java.lang.ClassLoader.loadClass(Unknown Source)
    at sun.misc.Launcher$AppClassLoader.loadClass(Unknown Source)
    at java.lang.ClassLoader.loadClass(Unknown Source)
    ... 7 more

Ниже приведены мои зависимости pom.xml 

 <dependency>
        <groupId>org.scala-lang</groupId>
        <artifactId>scala-library</artifactId>
        <version>2.11.7</version>
   </dependency>
   <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_2.10</artifactId>
        <version>2.2.0</version>
    </dependency>

    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.10</artifactId>
        <version>2.0.0-cloudera1-SNAPSHOT</version>
    </dependency>

Я пробовал другое решение, например добавление зависимости в мой файл pom.xml. Ниже приведена зависимость, которую я пробовал: 

<dependency>
<groupId>org.scala-lang</groupId>
<artifactId>scala-xml</artifactId>
<version>2.11.0-M4</version>

но становится ниже исключения 

Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.$scope()Lscala/xml/TopScope$;
at org.apache.spark.ui.jobs.StagePage.<init>(StagePage.scala:44)
at org.apache.spark.ui.jobs.StagesTab.<init>(StagesTab.scala:34)
at org.apache.spark.ui.SparkUI.<init>(SparkUI.scala:62)
at org.apache.spark.ui.SparkUI$.create(SparkUI.scala:215)
at org.apache.spark.ui.SparkUI$.createLiveUI(SparkUI.scala:157)
at org.apache.spark.SparkContext.<init>(SparkContext.scala:443)
at tavant.user.UserData$.main(UserData.scala:18)
at tavant.user.UserData.main(UserData.scala)

Любая идея? Заранее спасибо

...