Получение ошибки зависимости для sparksession и SQLContext - PullRequest
Новая
       9

Получение ошибки зависимости для sparksession и SQLContext

0 голосов
/ 26 октября 2018

Я получаю ошибку зависимости для моего SQLContext и sparksession в моей программе spark 

val sqlContext = new SQLContext(sc)
val spark = SparkSession.builder()

Ошибка для SQLCOntext 

Symbol 'type org.apache.spark.Logging' is missing from the classpath. This symbol is required by 'class org.apache.spark.sql.SQLContext'. Make sure that type Logging is in your classpath and check for conflicting dependencies with -Ylog-classpath. A full rebuild may help if 'SQLContext.class' was compiled against an incompatible version of org.apache.spark.

Ошибка для SparkSession: 

not found: value SparkSession

Ниже приведены искровые зависимости в моем pom.xml

. 
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_2.10</artifactId>
    <version>1.6.0-cdh5.15.1</version>
</dependency>
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.10</artifactId>
    <version>2.0.0-cloudera1-SNAPSHOT</version>
</dependency>
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-catalyst_2.10</artifactId>
    <version>1.6.0-cdh5.15.1</version>
</dependency>
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-test-tags_2.10</artifactId>
    <version>1.6.0-cdh5.15.1</version>
</dependency>

1 Ответ

0 голосов
/ 26 октября 2018

В вашем проекте не могут быть определены зависимости как Spark 2, так и Spark 1.6.org.apache.spark.Logging больше не доступен в Spark 2.

Измените 

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.10</artifactId>
    <version>2.0.0-cloudera1-SNAPSHOT</version>
</dependency>

на 

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.10</artifactId>
    <version>1.6.0-cdh5.15.1</version>
</dependency>
...