Как исправить инициализацию ошибки Logger при использовании команды spark-submit

Question

У меня проблема при запуске задания spark-jdbc для подключения к другой базе данных.Но у меня есть ошибка раньше.Исключение в потоке "main" java.lang.AbstractMethodError в org.apache.spark.internal.Logging $ class.initializeLogIfNeeded (Logging.scala: 99)

Мой регистратор не может быть инициализирован scala.Я использую scala 2.11 и спарк с теми же версиями.

Не могу отладить эту проблему через IDE, потому что там все хорошо, но когда я запускаю spark-submit, тогда происходит ошибка.

Answer 1

При использовании Spark 2.3 произошла та же ошибка, и я должен был использовать Spark 2.2.Видимо, этот метод был сделан абстрактным в более поздней версии, поэтому я получил эту ошибку.

Попробуйте это

https://community.hortonworks.com/articles/197922/spark-23-structured-streaming-integration-with-apa.html