Параллельная обработка в python на нескольких Windows компьютерах через ssh

Question

Раньше я выполнял параллельную обработку в R на нескольких Windows компьютерах через S SH:

# Assume there are two computers, pc1 and pc2, both accessible by 
# user1 through SSH from the master computer, master_pc.
hosts <- list(list(host = "pc1", user = "user1"), list(host = "pc2", user = "user1"))
my_cl <- parallel::makeCluster(type   = 'PSOCK',
                               master = "master_pc",
                               spec   = hosts)
# Calls to functions from the parallel package that use the cluster my_cl

Я знаю, что форк на Linux компьютерах - лучший подход, но эти компьютеры должны работать Windows и sock - мой единственный вариант.

Я собираюсь выполнить несколько задач параллельной обработки в Python на этих компьютерах. Могу ли я сделать что-то столь же простое, как описанный выше подход в Python?

Я проверил, и parallel-s sh кажется мне тем, что мне нужно. Однако версия на PyPI была , последний раз обновлялась в ноябре 2018 . Я не уверен, безопасно ли писать код с помощью этого пакета. Я искал Inte rnet, но большинство решений, которые я нашел, предназначены для компьютеров Linux или для параллельной обработки на одной машине.

Answer 1

Я предлагаю вам настроить кластер, используя Dask. Я использовал это в одном из своих проектов, и он работал просто потрясающе. Вы также можете выполнить настройку кластера, используя SSH, или выбрать тот, который соответствует вашим требованиям. Пожалуйста, найдите процедуру из Официальной документации

Надеюсь, это поможет.