Использование udf вызывает исключение classNotFoundException в scala - PullRequest
Новая
       24

Использование udf вызывает исключение classNotFoundException в scala

0 голосов
/ 29 января 2020

Я использую UDF с простой функцией: 

val upper: String => String = _.toUpperCase
import org.apache.spark.sql.functions.udf
val upperUDF = udf(upper)
dataset.withColumn("upper", upperUDF(col('text')).show

Но получаю следующее исключение:

java .lang.ClassNotFoundException: $ line20. $ Read $ $ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ anonfun $ 4 в java. net .URLClassLoader.findClass (URLClassLoader. java: 381) в java .lang.ClassLoader.loadClass (ClassLoader. java: 424) в java .lang.ClassLoader.loadClass ( ClassLoader. java: 357) в java .lang.Class.forName0 (собственный метод) в java .lang.Class.forName (Class. java: 348) в org. apache .spark. serializer.JavaDeserializationStream $$ anon $ 1.resolveClass (JavaSerializer. scala: 67) в java .io.ObjectInputStream.readNonProxyDes c (ObjectInputStream. java: 1859) в java .io.ObjectInputStream.readClass c (ObjectInputStream. java: 1745) в java .io.ObjectInputStream.readOrdinaryObject (ObjectInputStream. java: 2033) в java .io.ObjectInputStream.readObject0 (ObjectInputStrere am. java: 1567) в java .io.ObjectInputStream.defaultReadFields (ObjectInputStream. java: 2278) в java .io.ObjectInputStream.readSerialData (ObjectInputStream. java: 2202) в java .io.ObjectInputStream.readOrdinaryObject (ObjectInputStream. java: 2060) в

...