Как импортировать дополнительный пакет Python при использовании оболочки Pyspark - PullRequest
Новая
       8

Как импортировать дополнительный пакет Python при использовании оболочки Pyspark

0 голосов
/ 15 ноября 2018

Мне нужно импортировать модули библиотеки воздушного потока в оболочке Pyspark. Я включаю путь модуля в --py-files при входе в оболочку Pyspark. 

pyspark2 --py-files /nas/isg_prodops_work/ABO/abound/prod/anaconda/envs/nas_airflow/lib/python3.5/site-packages/airflow

Но все равно я получаю следующую ошибку: 

>>> from airflow.models import Variable
    Traceback (most recent call last):
    File "<stdin>", line 1, in <module>
    ImportError: No module named airflow.models

Структура каталогов моего модуля выглядит следующим образом: 

airflow
|-- __init__.py
|-- dag(directory)
|-- operators(directory)
|-- models.py

1 Ответ

0 голосов
/ 19 ноября 2018

Попробуйте эту команду: 

pyspark2 --py-files /nas/isg_prodops_work/ABO/abound/prod/anaconda/envs/nas_airflow/lib/python3.5/site-packages/airflow/models.py

и затем импортируйте так: 

>>> from models import Variable
...