Как скомпилировать поддержку PMI для работы Chapel / GASNet в сетях Omni-Path?

Question

Я пытаюсь запустить Chapel / GASNet в кластере, оборудованном сетью Omni-path.

Официальная документация GASNet для Omni-Path рекомендует использовать оф-канал, передавая --enable-ofi --disable-psm --disable-ibv. Однако, поскольку я не знаю, где проходить эту конфигурацию, я решил использовать канал PSM для Omni-Path.

1) Я могу запустить Chapel / GASNet, используя GASNET_PSM_SPAWNER='ssh'. Тем не менее, это порождает довольно медленный PGAS.

2) Я могу использовать MPI в качестве источника, только если я установил -mca mtl ^psm,psm2, что тоже медленно. В противном случае я получаю несколько ошибок.

3) Я пытался использовать PMI в качестве источника. Однако я получаю следующее сообщение об ошибке: Spawner is set to PMI, but PMI support was not compiled in usage: gasnetrun...

Как мне скомпилировать поддержку PMI и использовать GASNET_PSM_SPAWNER='pmi'?

Вот мои другие переменные времени выполнения Chapel / GASNet:

CHPL_COMM='gasnet'

CHPL_LAUNCHER='gasnetrun_psm'

CHPL_COMM_SUBSTRATE='psm'

CHPL_GASNET_SEGMENT='everything'

CHPL_TARGET_ARCH='native'

HFI_NO_CPUAFFINITY=1

Всего наилучшего,

Тьяго Карнейру.

Answer 1

У меня нет свободного доступа к системе Omni-path, чтобы проверить что-либо из этого, но в интересах попытаться получить ответ:

Мне кажется, что Часовня должна построить и использовать оф-канал, если вы выполните следующее:

• установить CHPL_COMM_SUBSTRATE=ofi в вашей среде (например, export CHPL_COMM_SUBSTRATE=ofi)
• перестроить часовню (например, make или gmake из $CHPL_HOME)
• перекомпилируйте и перезапустите вашу программу

Выбор используемого вами spawner / launcher не должен влиять на производительность вашей программы, о которой я знаю ... Это просто механизм запуска и запуска исполняемых файлов на вычислительных узлах системы. То есть, если у вас есть метод, который работает, я бы рекомендовал придерживаться его, а не пытаться использовать другие устройства для запуска / запуска (В любом случае, я лично не знаком с тем, как использовать средство создания PMI, и я вполне уверен, что часовня в настоящее время не имеет пусковой установки, которая оборачивает это).

В отличие от этого, выбор канала может очень сильно повлиять на производительность программы, так как он определяет, как происходит обмен данными во время выполнения программы.

В качестве напоминания: Как и в любой программе Chapel, после того, как она будет работать правильно и вы будете изучать производительность, обязательно используйте флаг --fast.