ты не можешь.У Spark нет «сервера», с которым он общается с менеджером ресурсов (Yarn / Kubernetes / Mesos) и заново развертывается с каждой задачей.Вам нужно либо иметь код в составе пакета, который вы отправляете, либо в предварительной упаковке в файле jar / zip, который вы включаете в работу.В обоих случаях вам нужно зарегистрировать udfs.