Ошибка при установке gdal на Azure Databricks - PullRequest
Новая
       136

Ошибка при установке gdal на Azure Databricks

0 голосов
/ 10 февраля 2020

Работает с растровыми файлами и требует gdal пакета. Попытка установить на Azure Databricks выдает ниже ошибки. Любая подсказка, как установить это на Databricks

Сбор gdal с использованием кэшированного GDAL-3.0.4.tar.gz (577 КБ) /python3.7 - c 'import sys, setuptools, tokenize; sys.argv [0] = '"'" '/tmp/pip-install-i3yomji8/gdal/setup.py' "'"'; file = '"'" '/ tmp / pip-install-i3yomji8 / gdal / setup.py' "'"'; f = getattr (tokenize, '"'" 'open' "'"', open) (файл) ; code = f.read (). replace ('"'" '\ r \ n' "'"', '"'" '\ n' "'"'); f.close (); exe c (скомпилировать (код, файл, '' '' 'exe c' "'"')) 'egg_info --egg-base / tmp / pip-install-i3yomji8 / gdal / pip-egg-info cwd: / tmp / pip-install-i3yomji8 / gdal / Полный вывод (72 строки): запуск egg_info, создание /tmp/pip-install-i3yomji8/gdal/pip-egg-info/GDAL.egg-info запись / tmp / pip-install-i3yomji8 /gdal/pip-egg-info/GDAL.egg-info/PKG-INFO запись зависимых_ ссылок на /tmp/pip-install-i3yomji8/gdal/pip-egg-info/GDAL.egg-info/dependency_links.txt написание top- имена уровней для /tmp/pip-install-i3yomji8/gdal/pip-egg-info/GDAL.egg-info/top_level.txt файла записи манифеста '/ tmp / pip-install-i3yomji8 / gdal / pip-egg-info / GDAL.egg-info / SOURCES.txt 'Traceback (последний вызов был последним): файл "/tmp/pip-install-i3yomji8/gdal/setup.py", строка 151, в fetch_config p = subprocess.Popen ([команда, args], stdout = subprocess.PIPE) Файл "/usr/lib/python3.7 /subprocess.py ", строка 775, в init restore_signals, start_new_session) Файл" /usr/lib/python3.7/subprocess.py ", строка 1522, в _execute_child поднять child_exception_type (errno_num, err_msg, err_filenameE) FileNot: Errno 2] Нет такого файла или каталога: '../../apps/gdal-config': '../../apps/gdal-config'

1 Ответ

0 голосов
/ 10 февраля 2020

Существуют различные способы установки пакетов в Azure Блоки данных:

Метод1: Использование библиотек

Для создания сторонних или локально созданный код, доступный для записных книжек и заданий, работающих в ваших кластерах, вы можете установить библиотеку. Библиотеки могут быть записаны в Python, Java, Scala и R. Вы можете загружать библиотеки Java, Scala и Python и указывать на внешние пакеты в репозиториях PyPI, Maven и CRAN.

Действия по установке сторонних библиотек:

Шаг 1: Создание кластера блоков данных.

Шаг 2: Выберите созданный кластер.

Шаг 3: Выберите библиотеки => Установить новый => Выберите источник библиотеки = "Maven" => Координаты => Пакеты поиска => Выберите Maven Central => Поиск для пакета требуется. Пример: (GDAL) => Выберите требуемую версию (3.0.0) => Установить

enter image description here

Method2: Использование Сценарии инициализации кластера

Сценарии инициализации кластера - это сценарии инициализации, определенные в конфигурации кластера. Сценарии инициализации кластера применяются как к создаваемым вами кластерам, так и к тем, которые созданы для выполнения заданий. Поскольку сценарии являются частью конфигурации кластера, управление доступом к кластеру позволяет вам контролировать, кто может изменять сценарии.

Шаг 1: Добавьте путь DBFS dbfs: /databricks/scripts/gdal_install.sh к сценариям инициализации кластера 

# --- Run 1x to setup the init script. ---
# Restart cluster after running.
dbutils.fs.put("/databricks/scripts/gdal_install.sh","""
#!/bin/bash
sudo add-apt-repository ppa:ubuntugis/ppa
sudo apt-get update
sudo apt-get install -y cmake gdal-bin libgdal-dev python3-gdal""",
True)

Step2: Перезапустите кластер после первого запуска step1.

Для получения дополнительной информации см. " RasterFrames Notebook".

Надеюсь, это поможет. Дайте нам знать, если у вас есть какие-либо дополнительные вопросы.

...