SCALA и Elastic Search: добавление символа в classpath (блоки данных) - PullRequest
Новая
       20

SCALA и Elastic Search: добавление символа в classpath (блоки данных)

0 голосов
/ 24 июня 2019

:)

Я получаю сообщение об ошибке, которое понятия не имею, как исправить. Я не смог найти выдающуюся документацию для этого типа SchemaRDD и как его использовать.

build.sbt содержит: 

scalaVersion := "2.11.12"

libraryDependencies += "org.apache.spark" %% "spark-sql" % "2.4.0"
libraryDependencies += "org.scalaj" %% "scalaj-http" % "2.4.1"
libraryDependencies += "io.spray" %%  "spray-json" % "1.3.5"
libraryDependencies += "com.amazonaws" % "aws-java-sdk-core" % "1.11.534"
libraryDependencies += "com.amazonaws" % "aws-encryption-sdk-java" % "1.3.6"
libraryDependencies += "com.amazonaws" % "aws-java-sdk" % "1.11.550"
libraryDependencies += "com.typesafe" % "config" % "1.3.4"
libraryDependencies += "org.elasticsearch" %% "elasticsearch-spark-1.2" % "2.4.4"

Ошибка: 

Symbol 'type org.apache.spark.sql.SchemaRDD' is missing from the classpath.
[error] This symbol is required by 'value org.elasticsearch.spark.sql.package.rdd'.
[error] Make sure that type SchemaRDD is in your classpath and check for conflicting dependencies with `-Ylog-classpath`.
[error] A full rebuild may help if 'package.class' was compiled against an incompatible version of org.apache.spark.sql.

Большое спасибо за все видыподдержки!:)

1 Ответ

1 голос
/ 24 июня 2019

Зависимость elasticsearch-spark-1.2 для Spark 1.x, вместо нее нужно использовать elasticsearch-spark-20. Последняя версия создана для Spark 2.3 

libraryDependencies += "org.elasticsearch" %% "elasticsearch-spark-20" % "7.1.1"
...