Можно ли запустить python параллельно в azure vm? - PullRequest
0 голосов
/ 28 апреля 2020

У меня есть сценарий python, который запускает программы параллельно с помощью joblib, и он работает просто отлично (100% потребления процессора на локальной машине).

В последнее время я перенес сценарий python в виртуальную машину данных (DSVM) на azure, но обнаружил, что многопроцессорный лог c не работает (потребление процессора остается низким на уровне 5% на средний).

Кто-нибудь знает, поддерживает ли azure VM распараллеливание? если да, какой пакет python мне следует использовать? "joblib" в настоящее время используется.

если нет, какие альтернативы вы можете предложить для распараллеливания на azure VM?

Заранее спасибо и оставайтесь здоровыми !!!

С уважением, Кельвин

1 Ответ

0 голосов
/ 30 апреля 2020

Какая у вас локальная компьютерная ОС (Windows, Linux, дистрибутив, версия)? Был ли тестовый запуск в реальном HW или виртуальном? какие технологии виртуализации (Hyper-V, vmware, другие)? Виртуализация, предлагаемая Azure, должна соответствовать реальному HW, поэтому я бы сначала посмотрел на ОС и зависимости в отношении распараллеливания, то есть базы процессов или потоков и т. Д. c. Я не профессионал в Python, однако думаю, что у вас должен быть способ определить, что блокирует один процесс или поток, чтобы запустить другой, что-то вроде узкого места. Знание этого должно вести в правильном направлении, чтобы решить проблему. Cesar

...