Как использовать dbutils.secrets в банке с искрой

Question

Итак, я сейчас пытаюсь установить секреты для своей среды разработки Databricks.Я успешно установил их, используя Databricks-cli.Я сейчас пытаюсь использовать их в моей свече (написано в Scala).Однако он должен быть скомпилирован локально и конвейер in ci / cd, чтобы быть запущенным.

Однако я не могу найти, в каком пакете dbutils находится.

... = dbutils.secrets.get(scope = "SCOPE", key = "VARIABLE")

Это тот случай использования, который я пытаюсь реализовать, и буду признателен за любую помощь!

Answer 1

Вы пробовали com.databricks.dbutils_v1.DBUtilsHolder.dbutils?Моя сборка SBT имеет зависимость "com.databricks" %% "dbutils-api" % "0.0.3", которая, кажется, вытягивает dbutils.

Answer 2

В Databricks каждое задание начинается с записной книжки, когда ваша банка содержит бизнес-логику, которая должна быть определена как библиотека, присоединенная к кластеру.

Пусковая записная книжка обычно обрабатывает все внешние параметры, используя dbutils затем вызовите код бизнес-логики, передавая пароли, строки подключения и т. д. в качестве параметра функции.

Все секреты хранятся только в KeyVault .Здесь вы можете найти , как интегрировать секретные области Databricks с KeyVault

Для локального запуска кода пароль, полученный из KeyVault с помощью Azure CLI и назначенный переменной среды в качестве шага подготовки перед каждым запуском.