Запуск scala 2.12 на emr 5.29.0

Question

У меня есть файл jar, скомпилированный в scala 2.12, и теперь я хочу запустить его на emr 5.29.0. Как мне запустить их, поскольку версия по умолчанию emr 5.29.0 - scala 2.11.

Answer 1

Согласно этой теме в AWS Forum , все версии Spark на EMR созданы с Scala 2.11, поскольку это стабильная версия:

На EMR Spark построен с Scala -2.11.x, который в настоящее время является стабильной версией. Согласно - https://spark.apache.org/releases/spark-release-2-4-0.html, Scala -2.12 все еще находится на экспериментальной поддержке. Наша служба поддержки уже знает об этом запросе на добавление функций и добавит поддержку Scala -2.12.0 в следующих выпусках, как только она станет стабильной.

Так что вам придется подождать, пока они добавляют поддержку в будущих выпусках EMR, или вы можете захотеть собрать Spark с Scala 2.12 и установить его на EMR. См. Создание и развертывание пользовательских приложений с Apache Bigtop и Amazon EMR и Создание Spark-распределения для EMR .

Answer 2

Просто идея, если ожидание не вариант!

Возможно ли упаковать последние scala банок с приложением с соответствующей определенной областью maven и указать эти пакеты со свойством spark --properties spark.jars.repositories ??

Возможно, вам придется найти способ передачи банок на узел драйвера. Если s3 - опция, которую можно использовать как промежуточное хранилище.