Я не эксперт в том, как ведется регистрация в Spark.(В моем проекте мы используем play, поэтому мы используем там логирование play. Что, я думаю, должно работать с вашим кодом).Но быстрый поиск вашей проблемы привел меня на этот сайт:
https://www.programcreek.com/scala/org.apache.log4j.Logger
Там, где вы можете видеть, кажется, что регистратор должен быть объявлен так: @transient lazy val logger =Logger.getLogger (getClass.getName)
И, возможно, вам нужно исправить некоторые конфиги?
Я впервые даю ответ, поэтому извините, если он не так полезен, как могбыть.Но, похоже, есть много уроков, которые могут вам помочь.