sbt package пытается загрузить пакет, путь которого не существует

Question

Это содержимое моего файла build.sbt:

name := "WordCounter"

version := "0.1"

scalaVersion := "2.13.1"

libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % "2.4.5"
)

, когда я пытаюсь запустить sbt package, это вывод, который я получаю

[error] sbt.librarymanagement.ResolveException: Error downloading org.apache.spark:spark-core_2.13:2.4.5
[error] not found: https://repo1.maven.org/maven2/org/apache/spark/spark-core_2.13/2.4.5/spark-core_2.13-2.4.5.pom

Если я перехожу по этому URL в моем браузере я могу подтвердить, что он не существует, он возвращает код 404.

Что я не понимаю, так это то, почему sbt пытается go до spark-core_2.13, когда в репозитории указана только spark-core_2.12 в качестве последней из перечисленных зависимостей.

Что-то не так с моим build.sbt файлом? Есть ли способ указать SBT go на произвольный путь только для этой зависимости?

Answer 1

ваша scala версия scalaVersion := "2.13.1" является виновником.

, поскольку у вас версия scala выше и ваша зависимость

 "org.apache.spark" %% "spark-core" % "2.4.5"

, поэтому он пытается найти искру артефакт с ядром 2.4.5, скомпилированный с 2.13 и не существующий ....

см. здесь scala совместимость с версиями спарк

Spark работает на Java 8, Python 2,7 + / 3,4 + и R 3,1+. Для API Scala Spark 2.4.5 использует Scala 2.12. Вам нужно будет использовать совместимую Scala версию (2.12.x).

см. Также mvn repo здесь

, если вы измените ее на 2.12 это будет работать.

Я думаю, что нет версии с искрой, совместимой с scala 2.13. см здесь