Как выполнить параллельные вычисления между несколькими экземплярами в Google Cloud Compute Engine?

Question

Недавно я столкнулся с проблемой обработки файла Pickle объемом 8 Гигабайт с помощью скрипта Python с использованием виртуальных машин в Google Cloud Compute Engine.Проблема в том, что процесс занимает слишком много времени, и я ищу способы сократить время обработки.Одним из возможных решений может быть совместное использование процессов в сценарии или сопоставление их между процессорами нескольких виртуальных машин.Если кто-то знает, как это сделать, поделитесь, пожалуйста, со мной!))

Answer 1

Вы можете использовать Кластеры для крупномасштабных технических вычислений в Google Cloud Platform (GCP).Существуют программы с открытым исходным кодом, такие как ElastiCluster , которые обеспечивают управление кластерами и поддержку предоставления узлов при использовании Google Compute Engine (GCE).

После работы кластера диспетчер рабочей нагрузки управляет выполнением задачи и распределением узлов.Существуют различные популярные коммерческие и открытые менеджеры рабочей нагрузки, такие как HTCondor из Висконсинского университета, Slurm из SchedMD, Univa Grid Engine и LSF Symphony из IBM.

Эта статья также полезна.

Answer 2

похоже на проблему HPC.Посмотрите на эту ссылку: https://cloud.google.com/solutions/architecture/highperformancecomputing.

Есть много ценных решений для вашей проблемы, но это зависит от деталей вашего дела.Первым простым подходом может быть логическое разделение вашей задачи на небольшие задания.Затем вы можете назначить подмножество этих заданий каждому экземпляру GCE в вашей группе выделенных экземпляров.

Вы можете создать группу из предварительно определенного количества экземпляров .Каждый запуск может основываться на сценариях запуска, чтобы достичь задания, которое он должен выполнить.По завершении работы экземпляр можно удалить и заменить новым (группы управляемых экземпляров Google Compute Engine автоматически создадут новый экземпляр).Вы должны управлять только тогда, когда группа должна начинаться и останавливаться.

Кроме того, вы можете рассмотреть выгружаемые экземпляры (более дешевые).

Надеюсь, это поможет вам.Bye