Обработка сигналов MPI

Question

При использовании mpirun возможно ли перехватывать сигналы (например, SIGINT, сгенерированный ^C) в выполняемом коде?

Например, я запускаю параллельный код Python. Я могу except KeyboardInterrupt перехватить эти ошибки при запуске python blah.py, но не могу при mpirun -np 1 python blah.py.

У кого-нибудь есть предложения? Даже поиск того, как отлавливать сигналы в скомпилированной программе на C или C ++, был бы полезным началом.

Если я отправлю сигнал порожденным процессам Python, они смогут правильно обработать сигналы; однако сигналы, отправленные в родительский процесс orterun (т. е. из-за превышения времени ожидания в кластере или нажатия клавиши control-C в терминале), немедленно уничтожат все.

Answer 1

Я думаю, что это действительно зависит от реализации.

• В SLURM я пытался использовать sbatch --signal USR1@30 для отправки SIGUSR1 (с номером 30,10 или 16) в программу, запускаемую командами srun. И процесс получил сигнал SIGUSR1 = 10.

• Для платформы MPI IBM, согласно https://www.ibm.com/support/knowledgecenter/en/SSF4ZA_9.1.4/pmpi_guide/signal_propagation.html

SIGINT, SIGUSR1, SIGUSR2 будет обойдено процессами.

• В MPICH SIGUSR1 используется менеджером процессов для внутреннего уведомления о ненормальных сбоях. ref: http://lists.mpich.org/pipermail/discuss/2014-October/003242.html>

• Открытый MPI с другой стороны перенаправит SIGUSR1 и SIGUSR2 из mpiexec в другие процессы. ref: http://www.open -mpi.org / doc / v1.6 / man1 / mpirun.1.php # sect14 >

• Для IntelMPI, согласно https://software.intel.com/en-us/mpi-developer-reference-linux-hydra-environment-variables

I_MPI_JOB_SIGNAL_PROPAGATION и I_MPI_JOB_TIMEOUT_SIGNAL могут быть установлены для отправки сигнала.

Еще одна вещь, на которую стоит обратить внимание: для многих скриптов на python они будут вызывать другие библиотеки или коды через cython, и, если подпроцесс поймает SIGUSR1, может произойти что-то нежелательное.

Answer 2

Если вы используете mpirun --nw, то mpirun сам должен завершить работу, как только он запускает подпроцессы, вместо того, чтобы ждать их завершения; если это приемлемо, то я полагаю, что ваши процессы смогут перехватывать свои собственные сигналы.

Answer 3

Модуль signal поддерживает настройку обработчиков сигналов с использованием signal.signal:

Установите обработчик для сигнала signalnum на обработчик функций. Обработчик может быть вызываемым объектом Python, принимающим два аргумента (см. ниже), или одним из специальных значений signal.SIG_IGN или signal.SIG_DFL. Предыдущий обработчик сигнала будет возвращен ...

import signal
def ignore(sig, stack):
  print "I'm ignoring signal %d" % (sig, )

signal.signal(signal.SIGINT, ignore)
while True: pass

Если вы отправите SIGINT интерпретатору Python, выполняющему этот скрипт (через kill -INT <pid>), он напечатает сообщение и просто продолжит работу.