Какую версию Scala использует Spark 2.4.3?

Question

Я установил Scala (версия 2.12.8) и Spark (2.4.3) на свой Mac OS из homebrew.У меня уже установлена ​​Java 1.8 на моем компьютере.

Когда я запускаю spark-shell, я вижу логотип:

Spark версия 2.4.3, Использование Scala версии 2.11.12 (Java HotSpot(TM) 64-разрядная серверная виртуальная машина, Java 1.8.0_144)

Почему на моем компьютере установлена ​​версия Scala 2.11.12 вместо Scala (версия 2.12.8)?

Spark 2.4.3 поставляется с Scala 2.11.12?

Спасибо.

Answer 1

Как указано в примечаниях к выпуску :

Spark 2.4.3 - это служебная версия, содержащая исправления стабильности. Этот выпуск основан на ветке обслуживания Spark версии 2.4. Мы настоятельно рекомендуем всем пользователям версии 2.4 перейти на этот стабильный выпуск.

Обратите внимание, что 2.4.3 переключил версию Scala по умолчанию с Scala 2.12 на Scala 2.11, которая используется по умолчанию для всех предыдущих выпусков 2.x, кроме 2.4.2. Это означает, что предварительно созданные удобные двоичные файлы скомпилированы для Scala 2.11. Spark по-прежнему кросс-опубликован для 2.11 и 2.12 в Maven Central и может быть построен для 2.12 из источника.

Кроме того, версия Scala, имеющаяся на вашем компьютере, совершенно не имеет значения - Spark использует версию Scala, которая использовалась для ее компиляции.