OpenFOAM: производительность GCE и AWS EC2

Question

Мы запустили OpenFOAM как на GCE, так и на EC2, и обнаружили, что EC2 работает на 30% быстрее и в целом дешевле (благодаря более быстрому времени выполнения).Смотрите прикрепленное изображение для метрик.

Мы думаем, что это из-за mpirun.При запуске mpirun на GCE мы получаем следующее предупреждение: «Высокопроизводительный модуль обмена сообщениями точка-точка Open MPI не смог найти соответствующие сетевые интерфейсы. Вместо этого будет использоваться другой транспорт, хотя это может привести к снижению производительности».

Мы не получаем это предупреждение при работе на EC2.

Может ли кто-нибудь помочь?

Просто чтобы прояснить ситуацию, мы сравнили экземпляры в дата-центре GCE Netherlands с EC2Экземпляры C5 во Франкфурте-на-Майне, оба на базе Intel Skylake.

Answer 1

Ваше предположение верно. OpenMPI выполняет поиск InfiniBand на оборудовании на узлах и, если ему не удается его найти, возвращается к стандартным интерфейсам.

Мы можем сказать mpirun, что он никогда даже не проверяет аппаратное обеспечение InfiniBand (и там предотвращает неудачный поиск) с включением -mca btl ^ openib в командной строке.

В частности, команда, которая изначально была отправлена ​​как

mpirun -np 3 -hostfile ../mpihosts helloworld

теперь должно быть

mpirun -np 3 -mca btl ^openib -hostfile ../mpihosts helloworld

Вы также можете устранить предупреждение, установив

--mca btl_base_warn_component_unused 0

Если это работает для вас, вы можете поместить "btl_base_warn_component_used = 0" в $ prefix / etc / openmpi-mca-params.conf (то есть, в вашу конфигурацию на стороне).