Итак, у меня есть простой UDF
object Constants extends Serializable {
val COMMA_DELIMITER: String = ","
val EMPTY: String = " "
}
val Format2Int = (input: AnyRef) => {
var column = input.toString.trim()
column = column.replaceAll(Constants.COMMA_DELIMITER, Constants.EMPTY).trim()
column
}
sqlContext.udf.register("Format2Int", Format2Int)
Это возвращает задачу, не сериализуемую, когда я пытаюсь ее вызвать, из-за использования объекта Constants
.(Если я заменю Constants.COMMA_DELIMITER
и Constants.EMPTY
, это будет работать нормально. Как я могу это исправить, продолжая использовать класс Constants?