Spark: java.lang.NoClassDefFoundError: scala / collection / mutable / ArraySeq $ ofRef

Question

Я пытаюсь запустить простую программу подсчета слов с spark-submit и получаю исключение.

Исключение в потоке "main" java.lang.BootstrapMethodError: java.lang.NoClassDefFoundError: scala/ collection / mutable / ArraySeq $ ofRef в SparkWordCount $ .main (SparkWordCount.scala: 18)

Код, начинающийся со строки 18:

val count = input.flatMap(line ⇒ line.split(" "))
    .map(word ⇒ (word, 1))
    .reduceByKey(_ + _)

Моя среда:

• Windows 10
• Java-версия "1.8.0_221"
• Spark-Shell показывает: Spark версия 2.4.4 (с использованием Scala версии 2.11.12)
• команда scala -version показывает Версия бегунка кода Scala 2.13.1

Answer 1

Как указано в комментариях, решение состоит в том, чтобы использовать для разработки ту же версию Scala, которую вы будете использовать в кластере.