Ошибка сериализации возникает для вложенного объекта с «extends Serializable» в блоках данных, но не в стандартной оболочке Spark - PullRequest
0 голосов
/ 09 января 2019

Почему расширение Serializable не устраняет возникшую ошибку сериализации при вызове?

val testRdd = sc.parallelize(List(1, 2, 3)) 

object Example {
  val outerNum = 1
  object NestedExample extends Serializable {
     val innerNum = 10
     def myFunc = testRdd.map(_ + innerNum).collect.toList
  }
}

Example.NestedExample.myFunc

Я использую Блокнот данных. Я вижу, что externalNum не используется, и это пример из обсуждения, которое заявлено, что должно работать в других местах в Интернете. Конечно, переписывание позволяет избежать этой проблемы, но здесь дело не в этом.

UPDATE

Он работает под оболочкой Spark в mapR, но не в блокноте DataBricks. Почему это так? это обновленный вопрос.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...