ошибка сегментации ifort mpi-openmp - PullRequest
0 голосов
/ 21 декабря 2011

У меня есть гибридный код mpi-openmp, который вылетает с ошибкой сегментации, ошибочной ошибкой завершения. Я компилирую, используя mpif90 / ifort, и использую mpich2. Вот строка компиляции, которую я использую и получаю ошибки:

mpif90.mpich2 -f90=ifort -DAMD64_LNX -openmp -o jack_openmp.exe laplace.f

При использовании этой команды, если я запускаю с одного узла, указывая на файл машин, который содержит другой узел, я получаю ошибку сегментации:

=====================================================================================
=   BAD TERMINATION OF ONE OF YOUR APPLICATION PROCESSES
=   EXIT CODE: 11
=   CLEANING UP REMAINING PROCESSES
=   YOU CAN IGNORE THE BELOW CLEANUP MESSAGES
=====================================================================================
APPLICATION TERMINATED WITH THE EXIT STRING: Segmentation fault (signal 11)

Однако, если я запускаю это с определенного узла (скажем, node1), и в файле машин есть только «node1», то он запускается, как и ожидалось, используя правильное количество потоков на узел (скажем, если «node1» был указан дважды в файле машины и команда mpiexec была похожа на «mpiexec -np 2 ...»).

Второе, что я попробовал, вместо того, чтобы связывать "-openmp", я связываю в "-liomp5". Когда я делаю это, код компилируется и запускается даже на разных узлах. Однако это не работает в каком-либо многопоточном смысле. «Omp_get_num_threads» будет возвращать 8 потоков на узел (что правильно), но он будет запускать только один поток на узел, указанный в файле машин, таким образом не выполняя никакой фактической потоковой обработки.

Я использую последний компилятор ifort (12.1.2) и mpich2, как отмечено. Размер стека не ограничен, проверяется через «ulimit -a» и рассматривается как неограниченный.

Исходный код файла laplace.f следующий:

      program lpmlp
      include 'mpif.h'
      include "omp_lib.h" 

      integer imax,jmax,im1,im2,jm1,jm2,it,itmax
      parameter (imax=10001,jmax=10001)
      parameter (im1=imax-1,im2=imax-2,jm1=jmax-1,jm2=jmax-2)
      parameter (itmax=100)
      real*8 u(imax,jmax),du(imax,jmax),umax,dumax,tol,pi
      parameter (umax=10.0,tol=1.0e-6,pi=3.14159)
! Additional MPI parameters
      integer istart,iend,jstart,jend
      integer size,rank,ierr,istat(MPI_STATUS_SIZE),mpigrid,length
      integer grdrnk,dims(1),gloc(1),up,down,isize,jsize
      integer ureq,dreq
      integer ustat(MPI_STATUS_SIZE),dstat(MPI_STATUS_SIZE)
      real*8 tstart,tend,gdumax
      logical cyclic(1)
      real*8 uibuf(imax),uobuf(imax),dibuf(imax),dobuf(imax)
! OpenMP parameters
      integer nthrds,nthreads      

! Initialize
      call MPI_INIT_THREAD(MPI_THREAD_FUNNELED,IMPI_prov,ierr)
      call MPI_COMM_RANK(MPI_COMM_WORLD,rank,ierr)
      call MPI_COMM_SIZE(MPI_COMM_WORLD,size,ierr)
! 1D linear topology
      dims(1)=size
      cyclic(1)=.FALSE.
      call MPI_CART_CREATE(MPI_COMM_WORLD,1,dims,cyclic,.true.,mpigrid
     +     ,ierr)
      call MPI_COMM_RANK(mpigrid,grdrnk,ierr)
      call MPI_CART_COORDS(mpigrid,grdrnk,1,gloc,ierr)
      call MPI_CART_SHIFT(mpigrid,0,1,down,up,ierr)
      istart=2
      iend=imax-1
      jsize=jmax/size
      jstart=gloc(1)*jsize+1
      if (jstart.LE.1) jstart=2
      jend=(gloc(1)+1)*jsize
      if (jend.GE.jmax) jend=jmax-1
      nthrds=OMP_GET_NUM_PROCS()
      print*,"Rank=",rank,"Threads=",nthrds
      call omp_set_num_threads(nthrds)

!$OMP PARALLEL DEFAULT(SHARED) PRIVATE(i,j)
! Initialize -- done in parallel to force "first-touch" distribution
! on ccNUMA machines (i.e. O2k)
!$OMP DO
      do j=jstart-1,jend+1
         do i=istart-1,iend+1
            u(i,j)=0.0
            du(i,j)=0.0
         enddo
         u(imax,j)=umax*sin(pi*float(j-1)/float(jmax-1))
      enddo
!$OMP END DO
!$OMP END PARALLEL

! Main computation loop
      call MPI_BARRIER(MPI_COMM_WORLD,ierr)
      tstart=MPI_WTIME()
      do it=1,itmax
! We have to keep the OpenMP and MPI calls segregated...
        call omp_set_num_threads(nthrds)

!$OMP PARALLEL DEFAULT(SHARED) PRIVATE(i,j)
!$OMP MASTER
        dumax=0.0
!$OMP END MASTER
!$OMP DO REDUCTION(max:dumax)
         do j=jstart,jend
            do i=istart,iend
               !nthreads = OMP_GET_NUM_THREADS()
               !print*,"Jack",rank,nthreads,nthrds
               du(i,j)=0.25*(u(i-1,j)+u(i+1,j)+u(i,j-1)+u(i,j+1))-u(i,j)
               dumax=max(dumax,abs(du(i,j)))
            enddo
         enddo
!$OMP END DO
!$OMP DO
         do j=jstart,jend
            do i=istart,iend
               u(i,j)=u(i,j)+du(i,j)
            enddo
         enddo
!$OMP END DO
!$OMP END PARALLEL
! Compute the overall residual
         call MPI_REDUCE(dumax,gdumax,1,MPI_REAL8,MPI_MAX,0
     +        ,MPI_COMM_WORLD,ierr)

! Send phase
         if (down.NE.MPI_PROC_NULL) then
            j=1
            do i=istart,iend
               dobuf(j)=u(i,jstart)
               j=j+1
            enddo
            length=j-1
            call MPI_ISEND(dobuf,length,MPI_REAL8,down,it,mpigrid,
     +           dreq,ierr)
         endif
         if (up.NE.MPI_PROC_NULL) then
            j=1
            do i=istart,iend
               uobuf(j)=u(i,jend)
               j=j+1
            enddo
            length=j-1
            call MPI_ISEND(uobuf,length,MPI_REAL8,up,it,mpigrid,
     +           ureq,ierr)
         endif
! Receive phase
         if (down.NE.MPI_PROC_NULL) then
            length=iend-istart+1
            call MPI_RECV(dibuf,length,MPI_REAL8,down,it,
     +           mpigrid,istat,ierr)
            call MPI_WAIT(dreq,dstat,ierr)
            j=1
            do i=istart,iend
               u(i,jstart-1)=dibuf(j)
               j=j+1
            enddo
         endif
         if (up.NE.MPI_PROC_NULL) then
            length=iend-istart+1
            call MPI_RECV(uibuf,length,MPI_REAL8,up,it,
     +           mpigrid,istat,ierr)
            call MPI_WAIT(ureq,ustat,ierr)
            j=1
            do i=istart,iend
               u(i,jend+1)=uibuf(j)
               j=j+1
            enddo
         endif
         write (rank+10,*) rank,it,dumax,gdumax
         if (rank.eq.0) write (1,*) it,gdumax
      enddo
      call MPI_BARRIER(MPI_COMM_WORLD,ierr)
      tend=MPI_WTIME()
      if (rank.EQ.0) then
         write(*,*) 'Calculation took ',tend-tstart,'s. on ',size,
     +        ' MPI processes'
     +        ,' with ',nthrds,' OpenMP threads per process'
      endif
      call MPI_FINALIZE(ierr)
      stop
      end

При запуске -liomp5, скомпилированного при компиляции, видно, что:

call omp_set_num_threads(nthrds)

выполняется с nthrds = 8, проверяется с помощью операторов печати, однако при немедленной проверке с помощью:

nthreads = OMP_GET_NUM_THREADS()

результирующие nthreads = 1. Однако, в случае, когда завершается компоновка в -openmp при компиляции (все тот же узел в файле машин, с запуском, запущенным с того же узла), nthreads = 8.

Если я сначала укажу имя головного узла в файле машины, скажем:

=====================================================================================
=   BAD TERMINATION OF ONE OF YOUR APPLICATION PROCESSES
=   EXIT CODE: 11
=   CLEANING UP REMAINING PROCESSES
=   YOU CAN IGNORE THE BELOW CLEANUP MESSAGES
=====================================================================================
[proxy:0:1@c403] HYD_pmcd_pmip_control_cmd_cb (./pm/pmiserv/pmip_cb.c:906): assert (!closed) failed
[proxy:0:1@c403] HYDT_dmxu_poll_wait_for_event (./tools/demux/demux_poll.c:77): callback returned error status
[proxy:0:1@c403] main (./pm/pmiserv/pmip.c:226): demux engine error waiting for event
[mpiexec@c403] HYDT_bscu_wait_for_completion (./tools/bootstrap/utils/bscu_wait.c:70): one of the processes terminated badly; aborting
[mpiexec@c403] HYDT_bsci_wait_for_completion (./tools/bootstrap/src/bsci_wait.c:23): launcher returned error waiting for completion
[mpiexec@c403] HYD_pmci_wait_for_completion (./pm/pmiserv/pmiserv_pmci.c:189): launcher returned error waiting for completion
[mpiexec@c403] main (./ui/mpich/mpiexec.c:397): process manager error waiting for completion

Много информации, но, надеюсь, не слишком много. Спасибо за любую помощь.

Ответы [ 2 ]

1 голос
/ 15 августа 2012

Возможно, размер стека потока OpenMP слишком мал. Вы пробовали установить OMP_STACKSIZE с большим размером?

% export OMP_STACKSIZE=512m # may be another value: 32m, 64m, 128m, 256m ...

Каждый поток OpenMP использует частную память стека, размер стека по умолчанию составляет 2 МБ в IA-32 и 4 МБ в архитектуре Intel64.

0 голосов
/ 21 декабря 2011

Попробуйте запустить вашу программу под Valgrind (сначала обязательно перекомпилируйте с -g для отладки символов). Что-то вроде этого, вероятно, будет полезно:

% mpiexec -n 2 valgrind -q ./jack_openmp.exe

Если он сообщает о каких-либо предупреждениях / ошибках в вашей программе (а не только какой-нибудь случайной системной библиотеке), то в вашем коде почти наверняка есть ошибки, которые вам нужно исправить. Посмотрите на указанную трассировку стека и выясните, почему Valgrind жалуется.

...