Я пытаюсь скомпилировать этот проект GitHub SES-L SH, написанный на scala. Мне нужно запустить это в apache Spark автономный кластер. Чтобы запустить его в Spark, мне нужно создать jar-файл этого проекта SES-L SH, чтобы я мог использовать spark-submit.
Когда я пытаюсь скомпилировать проект в sbt, я при получении следующих ошибок:
(base) ayon@ayon:~/prjSES$ sbt
[info] Updated file /home/ayon/prjSES/project/build.properties: set sbt.version to 1.3.9
[info] Loading project definition from /home/ayon/prjSES/project
[info] Loading settings for project prjses from build.sbt ...
[info] Set current project to prjses (in build file:/home/ayon/prjSES/)
[info] sbt server started at local:///home/ayon/.sbt/1.0/server/234f929481ea83daac9d/sock
sbt:prjses> libraryDependencies
[info] * org.scala-lang:scala-library:2.11.8
[info] * org.apache.spark:spark-core_2.11:2.1.1
sbt:prjses> compile
[warn] There may be incompatibilities among your library dependencies; run 'evicted' to see detailed eviction warnings.
[info] Compiling 10 Scala sources to /home/ayon/prjSES/target/scala-2.11/classes ...
[error] /home/ayon/prjSES/src/main/scala/edu/berkeley/cs/amplab/spark/indexedrdd/IndexedRDD.scala:21:26: object hbase is not a member of package org.apache.hadoop
[error] import org.apache.hadoop.hbase.client.Table
[error] ^
[error] /home/ayon/prjSES/src/main/scala/edu/berkeley/cs/amplab/spark/indexedrdd/IndexedRDD.scala:23:8: not found: object utils
[error] import utils.ImageIO
[error] ^
[error] /home/ayon/prjSES/src/main/scala/edu/berkeley/cs/amplab/spark/indexedrdd/IndexedRDD.scala:31:25: object mllib is not a member of package org.apache.spark
[error] import org.apache.spark.mllib.linalg.Vector
[error] ^
[error] /home/ayon/prjSES/src/main/scala/edu/berkeley/cs/amplab/spark/indexedrdd/IndexedRDD.scala:104:17: ambiguous implicit values:
[error] both value evidence$2 in class IndexedRDD of type scala.reflect.ClassTag[V]
[error] and value evidence$1 in class IndexedRDD of type scala.reflect.ClassTag[K]
[error] match expected type scala.reflect.ClassTag[T]
[error] Array.empty
[error] ^
[error] /home/ayon/prjSES/src/main/scala/edu/berkeley/cs/amplab/spark/indexedrdd/IndexedRDD.scala:110:22: type Vector takes type parameters
[error] def multifilter(v: Vector, r: Double, ks: Array[K], distance: VectorDisctance): Array[K] = {
[error] ^
[error] /home/ayon/prjSES/src/main/scala/lsh/VectorDisctance.scala:3:25: object mllib is not a member of package org.apache.spark
[error] import org.apache.spark.mllib.linalg.Vector
[error] ^
[error] ......
Я добавил библиотеку scala: 2.11.8 и spark-core_2.11 в качестве библиотекиDependencies для проекта. Мне интересно, для запуска SES-L SH мне нужно добавить больше библиотек в sbt в качестве зависимых и что это такое? Я новичок в SBT, scala, и искра. Что я могу сделать, чтобы запустить этот проект?