Как запустить .py файл, хранящийся в корзине GCP? - PullRequest
Новая
       43

Как запустить .py файл, хранящийся в корзине GCP?

1 голос
/ 30 апреля 2019

Я пытаюсь запустить этот файл .py.Я скопировал файл dsgd_mf.py в корзину GCP.Требуемый входной файл данных также в моем ведре.как зажечь-отправить это и получить вывод?(https://github.com/LiuShifeng/Matrix_Factor_Python/blob/master/dsgd_mf.py)

У меня на GCP работает ноутбук Jupyter, и у меня установлен gcloud SDK. Кроме создания кластера и запуска ноутбука Jupiter, я еще ничего не изменил. Я видел некоторые вариантыделать с файлом .jar, но я не знаю, и у меня есть какой-либо файл .jar для указания или ссылки. Я новичок, и быстрая помощь была бы высоко оценена. Пожалуйста, перейдите по ссылке, чтобы увидеть файл сценария. Мне нужна помощь для запускаэто на облачной платформе Google.

1 Ответ

1 голос
/ 01 мая 2019

Вы запускаете это на Dataproc? Если это так, вы можете просто отправить задание pyspark примерно так: 

gcloud --project={YOUR_CLUSTERS_PROJECT} dataproc jobs submit pyspark \
{GCS_PATH_TO_JOB} \
--cluster {CLUSTER_NAME} \
-- {SPACE_DELIMITED_JOB_ARGUMENTS}

Хотя это и стоит, использование ядра pyspark jupyter заблокирует запуск задания (т. Е. В журналах будет указано, что задание ожидает ресурсы снова и снова).

...