Блоки данных - создание постоянных пользовательских функций (UDF)

Question

Я могу создать функцию UDF и зарегистрироваться для зажигания, используя метод spark.UDF.Однако это только за сеанс.Как зарегистрировать функции Python UDF автоматически при запуске кластера?Эти функции должны быть доступны всем пользователям.Пример использования - преобразование времени из UTC в местный часовой пояс.

Answer 1

фактически вы можете создать постоянную функцию, но не из записной книжки, вам нужно создать ее из файла JAR

https://docs.databricks.com/spark/latest/spark-sql/language-manual/create-function.html

CREATE [TEMPORARY] FUNCTION [db_name.] Function_name ASимя_класса [USING resource, ...]

resource:: (JAR | FILE | ARCHIVE) file_uri

Answer 2

Это невозможно;это не похоже на UDF в Hive.

Кодируйте UDF как часть пакета / программы, которую вы отправляете, или в банке, включенной в Spark App, если используете spark-submit.

Однако,

spark.udf.register.udf("...

также необходимо выполнить.Это относится к записным книжкам Databrick и т. Д. UDF необходимо перерегистрировать для каждого Spark Context / Session.