Псевдонимы Scala типа scala.util. Либо в Apache Spark DataSet - PullRequest
0 голосов
/ 24 января 2019

Я создаю новый Блокчейн-сервер с использованием Hadoop и Apache Spark, я проверил его как Object, но проблема заключается в преобразовании в некоторые типы данных Spark.

Я импортировал import spark.implicits._ и Encoders.kryo[ObjectName]

  object ObjectAliases {
    type ObjectAlias = Either[AA, BB]
  }

  trait CC {
    def aa: String
  }

  case class AA(aa: String) extends CC
  case class BB(aa: String, bb: Int) extends CC

  import spark.implicits._

  val obj: ObjectAlias = Right(BB("Unit test", 1))
  val seq: Seq[ObjectAlias] = Seq(obj)

  spark.sqlContext.udf.register("udfObject", seq)

Я ожидаю что-то вроде зарегистрированного set of udfObject, но вместо этого я получил ошибку java.lang.UnsupportedOperationException: Schema for type scala.util.Either[AA,BB] is not supported.

Есть ли идеи о том, как проверить этот тип данных .. Спасибо ..

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...