Чтобы сделать сторонний или локально созданный код доступным для сред выполнения, работающих в ваших кластерах, вы можете установить библиотеку в кластере. Библиотеки могут быть написаны на Python, Java, Scala и R. Вы можете загружать библиотеки Java, Scala и Python и указывать на внешние пакеты в репозиториях PyPI, Maven и CRAN.
Вы можете управлять библиотеками, используя пользовательский интерфейс, интерфейс командной строки и вызывая API библиотек.
Другие методы см. В CLI и Библиотеки данных API .
.
В Databricks Runtime 5.1 и выше вы также можете устанавливать библиотеки Python непосредственно в сеанс ноутбука, используя Библиотечные утилиты . Поскольку библиотеки, установленные в записной книжке, гарантированно не будут мешать библиотекам, установленным в других записных книжках, даже если все записные книжки работают в одном кластере, Databricks рекомендует использовать этот метод, когда это возможно.
Пожалуйста, обратитесь к Создать рабочую библиотеку для создания библиотеки. Это довольно простая задача.
Ниже вы можете найти полную документацию по этому же
https://docs.databricks.com/user-guide/libraries.html
Надеюсь, это поможет.