Почему расширение Serializable не устраняет возникшую ошибку сериализации при вызове?
val testRdd = sc.parallelize(List(1, 2, 3))
object Example {
val outerNum = 1
object NestedExample extends Serializable {
val innerNum = 10
def myFunc = testRdd.map(_ + innerNum).collect.toList
}
}
Example.NestedExample.myFunc
Я использую Блокнот данных. Я вижу, что externalNum не используется, и это пример из обсуждения, которое заявлено, что должно работать в других местах в Интернете. Конечно, переписывание позволяет избежать этой проблемы, но здесь дело не в этом.
UPDATE
Он работает под оболочкой Spark в mapR, но не в блокноте DataBricks. Почему это так? это обновленный вопрос.