Ошибка при попытке использовать MPI с emcee в кластере slurm - PullRequest
Новая
       46

Ошибка при попытке использовать MPI с emcee в кластере slurm

0 голосов
/ 21 июня 2019

Привет и спасибо за вашу помощь!

Я пытаюсь запустить emcee с использованием mpi на кластере Slurm, но когда я запускаю свой код, через несколько минут возвращается ошибкабольшая ошибка, описанная ниже, похоже, связана с ошибкой «Неверный коммуникатор».

У вас есть идеи, что я могу делать не так?

Я использую анаконду, поэтому я попыталсяпереустановка среды, изменение используемых пакетов и удаление всего, что может быть ненужным, но ошибка всегда одинакова.

Вот сценарий, который я отправляю через sbatch: 

#!/bin/bash
#SBATCH --partition=largemem
#SBATCH --ntasks=40
#SBATCH --ntasks-per-node=40
#SBATCH --mem-per-cpu=4000
#SBATCH --mail-user=(my email)
#SBATCH --mail-type=ALL
#SBATCH --output=results/LastOpti.out
#SBATCH --error=results/LastOpti.err
#SBATCH --job-name=gal

source ~/anaconda3/etc/profile.d/conda.sh
conda activate EmceeMPI

cd ~/GalarioFitting

srun -n $SLURM_NTASKS python3 OptimizationGalarioMPI.py --nwalkers 560 --iterations 3000 --suffix _lasttest

conda deactivate

и в своем коде на Python я использую MPIPool Швиммбада.

ошибка - это большой кусок: 

Traceback (most recent call last):
  File "OptimizationGalarioMPI.py", line 303, in <module>
    pos, prob, state = sampler.run_mcmc(pos, iterations, progress=True)
  File "/home/mbenisty/anaconda3/envs/EmceeMPI/lib/python3.7/site-packages/emcee-3.0rc2-py3.7.egg/emcee/ensemble.py", line 346, in run_mcmc
  File "/home/mbenisty/anaconda3/envs/EmceeMPI/lib/python3.7/site-packages/emcee-3.0rc2-py3.7.egg/emcee/ensemble.py", line 305, in sample
  File "/home/mbenisty/anaconda3/envs/EmceeMPI/lib/python3.7/site-packages/emcee-3.0rc2-py3.7.egg/emcee/moves/red_blue.py", line 92, in propose
  File "/home/mbenisty/anaconda3/envs/EmceeMPI/lib/python3.7/site-packages/emcee-3.0rc2-py3.7.egg/emcee/ensemble.py", line 389, in compute_log_prob
  File "/home/mbenisty/anaconda3/envs/EmceeMPI/lib/python3.7/site-packages/schwimmbad/mpi.py", line 168, in map
    status=status)
  File "mpi4py/MPI/Comm.pyx", line 1173, in mpi4py.MPI.Comm.recv
  File "mpi4py/MPI/msgpickle.pxi", line 302, in mpi4py.MPI.PyMPI_recv
  File "mpi4py/MPI/msgpickle.pxi", line 261, in mpi4py.MPI.PyMPI_recv_match
mpi4py.MPI.Exception: Invalid communicator, error stack:
PMPI_Mprobe(120):  MPI_Mprobe(source=-2, tag=-1, comm=MPI_COMM_WORLD, message=0x7ffed877b790, status=0x7ffed877b7a0)
PMPI_Mprobe(85).: Invalid communicator

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "OptimizationGalarioMPI.py", line 303, in <module>
    pos, prob, state = sampler.run_mcmc(pos, iterations, progress=True)
  File "/home/mbenisty/anaconda3/envs/EmceeMPI/lib/python3.7/site-packages/schwimmbad/pool.py", line 46, in __exit__
    self.close()
  File "/home/mbenisty/anaconda3/envs/EmceeMPI/lib/python3.7/site-packages/schwimmbad/mpi.py", line 188, in close
    self.comm.send(None, worker, 0)
  File "mpi4py/MPI/Comm.pyx", line 1156, in mpi4py.MPI.Comm.send
  File "mpi4py/MPI/msgpickle.pxi", line 174, in mpi4py.MPI.PyMPI_send

1 Ответ

0 голосов
/ 24 июня 2019

Возможно, реализация MPI, поставляемая с Conda, не включает поддержку Slurm. Если это так, вы должны попытаться запустить вашу программу с mpirun вместо srun. Но эта ошибка часто указывает на то, что несколько реализаций MPI активны одновременно. При отправке задания убедитесь, что модуль среды не загружен и что не установлен пакет ОС, связанный с MPI.

...