Как включить дополнительную библиотеку / пакет в блокнот pyspark Databricks?

Question

Часто, когда нам нужно импортировать некоторые дополнительные библиотеки в pyspark, Databricks предоставляет отличную среду для практики pyspark, однако возможно ли установить там необходимую библиотеку? если да, то как?

или есть ли обходной путь для использования не встроенной библиотеки / пакета?

Спасибо.

Answer 1

Существует несколько способов сделать это, в зависимости от случая и типа упаковки. Если это пакет PyPI, то самый простой способ - использовать

dbutils

dbutils.library.installPyPI("pypipackage", version="version", repo="repo", extras="extras")

. Или вы можете присоединить библиотеку к кластеру. Более подробную информацию можно найти здесь https://docs.databricks.com/libraries.html#install -workspace-library