Динамические узлы в OpenMPI

Question

В MPI возможно ли добавить новые узлы после его запуска?Например, у меня есть 2 компьютера, на которых уже запущено параллельное приложение MPI.Я запускаю другой экземпляр этого приложения на третьем компьютере и добавляю его в существующий коммуникатор.Все компьютеры находятся в локальной сети.

Answer 1

Нет, в настоящее время невозможно добавить новые узлы в работающее приложение MPI.MPI предназначен для определения общего количества узлов при запуске программы.

Выполняется работа (например, на MPI-3 ) по обработке узлов, которые отключаются.Может быть, если вы можете добавить неисправные узлы обратно, то вы можете добавить новые, но это самое близкое, что я могу придумать.См. этот ответ для получения дополнительной информации о подходах к отказоустойчивости MPI.

Answer 2

Для программы MPI2 возможно создание новых рангов. Функция MPI_Comm_spawn и запускает дочерние элементы на новом коммуникаторе MPI. То есть новые ранги имеют MPI_COMM_WORLD, отличный от ранее запущенных рангов. Должна быть возможность создать новый коммуникатор, который будет содержать все текущие рабочие ряды.