Я выставил набор функций поддержки в библиотеку helper.jar и импортировал в кластер Databricks.Jar установлен в кластере, но я не могу сослаться на функции в библиотеке.
Импорт jar был протестирован, кластер перезапущен, и на него можно ссылаться в InelliJ, где он был разработан какПроект Azure Spark / HDInsight.
//next line generates error value helper is not a member of org.apache.spark.sql.SparkSession
import helper
//nex line generates error: not found: value fn_conversion
display(df.withColumn("RevenueConstantUSD", fn_conversion($"Revenue"))
Я ожидаю, что функция helper станет видимой после развертывания библиотеки или, возможно, после добавления команды import.
Редактировать: добавлена информация о типе проекта IntelliJ