Невозможно соединиться с Кассандрой в спарк-оболочке - PullRequest
Новая
       18

Невозможно соединиться с Кассандрой в спарк-оболочке

0 голосов
/ 17 сентября 2018

Я пытаюсь подключиться к удаленному кластеру кассандры в моей искровой оболочке, используя разъем Spark-кассандра.Но это вызывает некоторые необычные ошибки.

Я делаю обычную вещь, как упомянуто на странице github коннектора spark-cassandra

1) Запустите оболочку 

 $SPARK_HOME/bin/spark-shell --packages datastax:spark-cassandra-connector:2.0.0-s_2.11

2) импорт коннектора cassandra 

import com.datastax.spark.connector._
import org.apache.spark.sql.cassandra._

До этого момента все работало нормально Но когда я пытаюсь создать rdd 

 val rdd=sc.cassandraTable("test","user")

, он выдает это исключение 

    java.lang.NoClassDefFoundError: org/apache/commons/configuration/ConfigurationException
  at java.lang.ClassLoader.defineClass1(Native Method)
  at java.lang.ClassLoader.defineClass(ClassLoader.java:763)
  at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
  at java.net.URLClassLoader.defineClass(URLClassLoader.java:467)
  at java.net.URLClassLoader.access$100(URLClassLoader.java:73)
  at java.net.URLClassLoader$1.run(URLClassLoader.java:368)
  at java.net.URLClassLoader$1.run(URLClassLoader.java:362)
  at java.security.AccessController.doPrivileged(Native Method)
  at java.net.URLClassLoader.findClass(URLClassLoader.java:361)
  at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
  at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
  at com.datastax.spark.connector.cql.CassandraConnectorConf$.apply(CassandraConnectorConf.scala:257)
  at com.datastax.spark.connector.cql.CassandraConnector$.apply(CassandraConnector.scala:189)
  at com.datastax.spark.connector.SparkContextFunctions.cassandraTable$default$3(SparkContextFunctions.scala:52)
  ... 53 elided
Caused by: java.lang.ClassNotFoundException: org.apache.commons.configuration.ConfigurationException
  at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
  at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
  at java.lang.ClassLoader.loadClass(ClassLoader.java:357)

Scalaверсия разъема версии 2.3.1 = 2.0.0

1 Ответ

0 голосов
/ 17 сентября 2018

Для Scala версии 2.3.1 вы должны использовать версию Spark Connector> = 2.3.0 - текущая версия 2.3.2: 

spark-shell --packages com.datastax.spark:spark-cassandra-connector_2.11:2.3.2 \
    --conf spark.cassandra.connection.host=<IP>
...