Я пытаюсь развернуть приложение Scala 2.12.0 + Spark 2.4.4 в AWS EMR. У меня Spark 2.4.4 включен в EMR.
При запуске приложения происходит сбой со следующей ошибкой:
java.lang.NoSuchMethodError: scala.Product.$init$(Lscala/Product;)V
Я собираю флягу с помощью "sbt-assembly"плагин. Я специально удаляю «org / apache / spark /» из собранного фляги, чтобы не допустить конфликта версий.
В то время как Spark 2.4.4 предположительно поддерживает Scala 2.12.x, EMR, похоже, не поддерживает его.
Вместо этого необходимо строить с использованием Scala 2.11.
Например, в сборке. файл sbt:
scalaVersion := "2.11.12"