Работа MPI "потребляет" cgroup pids - PullRequest
0 голосов
/ 11 октября 2018

У меня есть задание на обработку, которое использует MPI для распараллеливания, но (в этом случае) работает на одном хосте.Каждый раз, когда я запускаю задание, оно «потребляет» несколько «pids» группы.В частности, каждый раз, когда я запускаю задание,

/sys/fs/cgroup/pids/user.slice/user-1000.slice/pids.current

увеличивается (что неудивительно), но когда задание завершается, оно возвращается к большему значению, чем началось.Увеличение pids.current равно количеству запущенных процессов MPI.Моя работа запускает около 30 процессов MPI, и мне приходится запускать его сотни раз, поэтому pids.current быстро увеличивается до числа, которое больше pids.max, и дальнейшие процессы для конкретного пользователя не могут быть созданы.В качестве обходного пути я увеличивал pids.max, но это довольно плохое решение.

Я запускаю задание с mpirun, и настройка cgroup по умолчанию для Debian.

У меня естьпродемонстрировал ту же проблему с несвязанной программой «mpi-helloworld» из

https://github.com/wesleykendall/mpitutorial

, поэтому я уверен, что это не мое программное обеспечение.У меня есть идентичный аппарат с аппаратным обеспечением, на котором работает то же ядро ​​/ дистрибутив Linux, который был настроен кем-то другим, который не показывает эту проблему.Одна другая машина (другое оборудование, то же ядро ​​Linux) также не показывает проблему.

Я не могу найти ссылки где-либо в Интернете о ком-то, кто видит ту же проблему.

Я работаю:

Debian GNU / Linux 9

Linux 4.9.0-8-amd64 # 1 SMP Debian 4.9.110-3 + deb9u5 (2018-09-30) x86_64 GNU / Linux

Intel® Xeon® CPU E5-2630 v4 @ 2,20 ГГц

libopenmpi-dev 2.0.2-2
libopenmpi2: amd64 2.0.2-2
openmpi-bin 2.0.2-2
openmpi-common 2.0.2-2

Кто-нибудь может подсказать, что не так или где искать?

...