Получение исключения в потоке "main" java.lang.NoClassDefFoundError: org / spark_project / guava / cache / CacheLoader для проекта maven - PullRequest
Новая
       5

Получение исключения в потоке "main" java.lang.NoClassDefFoundError: org / spark_project / guava / cache / CacheLoader для проекта maven

0 голосов
/ 29 сентября 2018

Я обновил версию spark с 2.2.2 до 2.3.2 в проекте maven, но получил следующую ошибку: 

Exception in thread "main" java.lang.NoClassDefFoundError: org/spark_project/guava/cache/CacheLoader
    at org.apache.spark.SparkConf.loadFromSystemProperties(SparkConf.scala:75)
    at org.apache.spark.SparkConf.<init>(SparkConf.scala:70)
    at org.apache.spark.SparkConf.<init>(SparkConf.scala:57)

Файл pom.xml содержит следующие зависимости: 

    <dependency>
        <groupId>org.scala-lang</groupId>
        <artifactId>scala-library</artifactId>
        <version>2.11.12</version>
    </dependency>

    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.11</artifactId>
        <version>2.3.2</version>
    </dependency>

    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_2.11</artifactId>
        <version>2.3.2</version>
    </dependency>

Какую зависимость я должен добавить, чтобы избавиться от этой проблемы для spark 2.3.2?

...