Scala spark, как исправить эту задачу, не сериализуем - PullRequest
0 голосов
/ 24 августа 2018

Итак, у меня есть простой UDF

object Constants extends Serializable {
  val COMMA_DELIMITER: String = ","
  val EMPTY: String = " "
 }

val Format2Int = (input: AnyRef) => {
  var column = input.toString.trim()
  column = column.replaceAll(Constants.COMMA_DELIMITER, Constants.EMPTY).trim()
  column
}

sqlContext.udf.register("Format2Int", Format2Int)

Это возвращает задачу, не сериализуемую, когда я пытаюсь ее вызвать, из-за использования объекта Constants.(Если я заменю Constants.COMMA_DELIMITER и Constants.EMPTY, это будет работать нормально. Как я могу это исправить, продолжая использовать класс Constants?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...