Azure Скрипт инициализации кластера базы данных - установка колеса из подключенного хранилища - PullRequest
0 голосов
/ 07 апреля 2020

У меня есть колесо python, загруженное в учетную запись хранения azure, которая смонтирована в службе баз данных. Я пытаюсь установить колесо с помощью сценария инициализации кластера, как описано в документации документация .

Мое хранилище определенно смонтировано, и мой путь к файлу выглядит для меня правильным. Выполнение команды display(dbutils.fs.ls("/mnt/package-source")) в записной книжке дает результат:

path: dbfs:/mnt/package-source/parser-3.0-py3-none-any.whl
name: parser-3.0-py3-none-any.whl

Я попытался установить колесо из файла инициализации кластера, используя эту команду:

/databricks/python/bin/pip install "dbfs:/mnt/package-source/parser-3.0-py3-none-any.whl"

, но кластер не запускается Это журналы дают мне сообщение об ошибке, говоря, что он не может найти файл:

WARNING: Requirement 'dbfs:/mnt/package-source/parser-3.0-py3-none-any.whl' looks like a filename, but the file does not exist
ERROR: Could not install packages due to an EnvironmentError: [Errno 2] No such file or directory: '/dbfs:/mnt/package-source/parser-3.0-py3-none-any.whl'

Я также пробовал это так:

/databricks/python/bin/pip install /mnt/package-source/parser-3.0-py3-none-any.whl

, но я получаю похожую ошибку:

WARNING: Requirement '/mnt/package-source/parser-3.0-py3-none-any.whl' looks like a filename, but the file does not exist
ERROR: Could not install packages due to an EnvironmentError: [Errno 2] No such file or directory: '/mnt/package-source/parser-3.0-py3-none-any.whl'

Я даже пытался использовать относительные пути, такие как ../../mnt/package-source/..., но безрезультатно. Может кто-нибудь сказать мне, что я делаю не так, пожалуйста?

Связанный вопрос: Azure Скрипт инициализации кластера Databricks - установка python wheel

1 Ответ

0 голосов
/ 07 апреля 2020

Я получил его, используя относительный путь. Оказывается, ../../mnt/ был неправильный путь. Работало с использованием ../../../dbfs/mnt/. Потребовалось немного изучить файловую систему, используя команду bash ls, чтобы найти ее.

Для всех, кто сталкивается с такой же проблемой, я предлагаю начать что-то вроде этого в блокноте:

%%sh
ls ../../../
...