Я использую Apache Toree ядро scala для Jupyter Notebook, в котором используется конфигурация spark (master=yarn).
При отправке работы я получаю следующее исключение.Конечно, локально все работает без проблем в IDE.
Моя проблема в том, что я не понимаю, как прочитать трассировку и найти причину.
Причина:java.io.NotSerializableException: $ line25. $ read $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $ Стог сериализации $ - объект не сериализуем (класс: $ line25. $ read $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $ Агрегация $, значение: $ line25. $ read $$ iw $$ iw $$ iw $$ iw$$ iw $$ iw $$ iw $$ iw $ Aggregation $ @ 25bbaa87) - поле (класс: $ line25. $ read $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $ Aggregation $$ anonfun $ 6, имя: $ external, тип: класс $ line25. $ read $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $ Aggregation $)- объект (класс $ line25. $ read $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $ Агрегация $$ anonfun $ 6,) - поле (класс: org.apache.spark.sql.execution.MapElementsExec, имя: func, тип: класс java.lang.Object) - объект (класс org.apache.spark.sql.execution.MapElementsExec, MapElements, объект № 73: scala.Tuple2