Как установить PYODBC в Databricks - PullRequest
Новая
       10

Как установить PYODBC в Databricks

0 голосов
/ 10 января 2019

Я должен установить модуль pyodbc в Databricks. Я пытался использовать эту команду (pip install pyodbc), но она не удалась из-за ошибки ниже.

Сообщение об ошибке

Ответы [ 3 ]

0 голосов
/ 10 января 2019

У меня были проблемы с подключением через pyobdc, подробности моего исправления здесь: https://datathirst.net/blog/2018/10/12/executing-sql-server-stored-procedures-on-databricks-pyspark

Я думаю, что проблема связана с PYTHONPATH для кластеров блоков данных, которые устанавливаются для установки Python 2.

Я подозреваю, что строки: 

%sh    
apt-get -y install unixodbc-dev
/databricks/python/bin/pip install pyodbc

Будет работать на вас.

Обновление: еще проще (хотя вам все еще понадобится unixodbc-dev сверху): 

%sh 
sudo apt-get install python3-pip -y
pip3 install --upgrade pyodbc
0 голосов
/ 13 мая 2019

У меня была такая же проблема при установке. Это то, что я пытался, и это сработало.

  • У блоков данных нет драйвера ODBC по умолчанию. Выполните следующие команды в одной ячейке для установки драйвера MS SQL ODBC 
%sh
curl https://packages.microsoft.com/keys/microsoft.asc | apt-key add -
curl https://packages.microsoft.com/config/ubuntu/16.04/prod.list > /etc/apt/sources.list.d/mssql-release.list
sudo apt-get update
sudo ACCEPT_EULA=Y apt-get -q -y install msodbcsql17
  • Запустите это в записной книжке 
dbutils.fs.put("/databricks/init/<YourClusterName>/pyodbc-install.sh","""
#!/bin/bash
sudo apt-get update
sudo apt-get -q -y install unixodbc unixodbc-dev
sudo apt-get -q -y install python3-dev
/databricks/python/bin/pip install pyodbc
""", True)

  • Перезапустить кластер

  • Импорт pyodbc в коде

0 голосов
/ 10 января 2019

Щелкните правой кнопкой мыши папку Workspace, в которой вы хотите сохранить библиотеку.

Выберите «Создать»> «Библиотека».

Смотрите это https://docs.databricks.com/user-guide/libraries.html для подробной информации

...