Datapro c не импортирует модуль Python, хранящийся в корзине Google Cloud Storage - PullRequest
Новая
       65

Datapro c не импортирует модуль Python, хранящийся в корзине Google Cloud Storage

1 голос
/ 29 апреля 2020

У меня следующая структура в корзине Google Cloud Storage (GCS): 

gs://my_bucket/py_scripts/
    wrapper.py
    mymodule.py
    _init__.py

Я запускаю wrapper.py через Datapro c как задание pyspark и импортирую mymodule, используя import mymodule в начале, но задание возвращает ошибку «1007», даже если они находятся на одном пути. Однако это прекрасно работает в среде Unix.

Обратите внимание, что _init__.py пусто. Также проверено from mymodule import myfunc, но возвращает ту же ошибку.

1 Ответ

0 голосов
/ 29 апреля 2020

Можете ли вы предоставить команду отправки задания pyspark? Я подозреваю, что вы не передаете параметры «--py-files» для предоставления другим python файлам для работы. Проверьте для справки https://cloud.google.com/sdk/gcloud/reference/dataproc/jobs/submit/pyspark. Datapro c не будет принимать файлы в том же сегменте GS как входные данные для задания.

...