Существует функция, которая регистрирует функцию Python, но я не мог вызвать ее напрямую из приложения Spark, написанного на Scala.
Есть ли другой способ сделать это?
Ссылка ниже является частью объявления функции для регистрации функции Python udf.
https://github.com/apache/spark/blob/004aea8155d3b768684ab20cd29b3a820a204f22/sql/core/src/main/scala/org/apache/spark/sql/UDFRegistration.scala#L51 -L66