Вызов зависимого от MPI модуля Fortran через Cython - PullRequest
0 голосов
/ 01 октября 2018

Я пытаюсь вызвать библиотеку Fortran, которая использует Open MPI, из Python.Я решил использовать Cython в качестве слоя между Python и Fortran.

Я получил минимальный рабочий пример из этого ответа , но у меня возникают проблемы, когда дело доходит до использования Open MPI.

Ниже вы найдете мою попытку включения MPI в этом примере.Если я вызываю модуль ffunc из программы на Фортране, он работает, но если я пытаюсь получить к нему доступ из Python, я получаю

mca_base_component_repository_open: unable to open mca_patcher_overwrite: /path/to/mca_patcher_overwrite.so: undefined symbol: mca_patcher_base_patch_t_class (ignored)
mca_base_component_repository_open: unable to open mca_shmem_mmap: /path/to/mca_shmem_mmap.so: undefined symbol: opal_show_help (ignored)
mca_base_component_repository_open: unable to open mca_shmem_posix: /path/to/mca_shmem_posix.so: undefined symbol: opal_shmem_base_framework (ignored)
mca_base_component_repository_open: unable to open mca_shmem_sysv: /path/to/mca_shmem_sysv.so: undefined symbol: opal_show_help (ignored)

В качестве минимального рабочего примера у меня есть следующее:

Модуль Fortran для вызова ffunc.p90:

module ffunc

use mpi

implicit none

integer, parameter :: dp = kind(1.0d0)

contains

subroutine func(a, b, c)
  real(dp), intent(in) :: a
  real(dp), intent(in) :: b
  real(dp), intent(out) :: c
  integer :: ierr

  call mpi_init(ierr)
  c = a + b
  call mpi_finalize(ierr)

end subroutine func


end module ffunc

обертка Fortran-C pyffunc.f90:

module fortran_wrapper


use iso_c_binding, only: c_double
use ffunc, only: func

implicit none

contains


subroutine c_func(a, b, c) bind(c)
  real(c_double), intent(in) :: a
  real(c_double), intent(in) :: b
  real(c_double), intent(out) :: c

  call func(a, b, c)

end subroutine c_func


end module fortran_wrapper

заголовок C pyffunc.h:

extern void c_func(double* a, double* b, double* c);

Обертка Cython pyffunc.pyx:

cdef extern from 'pyffunc.h':
    void c_func(double* a, double* b, double* c)

def func(double a, double b):
    cdef:
        double c
    c_func(&a, &b, &c)
    print('cython: a = {}, b = {}, c = {}'.format(a, b, c))
    return c

Python setup.py (и получил включенные библиотеки и библиотеки от mpif90 showme:

from distutils.core import setup
from distutils.extension import Extension
from Cython.Distutils import build_ext
from numpy import get_include
from os import system

# compile the fortran modules without linking
fortran_mod_comp = 'mpif90 ffunc.f90 -c -o ffunc.o -O3 -fPIC'
print(fortran_mod_comp)
system(fortran_mod_comp)
shared_obj_comp = 'mpif90 pyffunc.f90 -c -o pyffunc.o -O3 -fPIC'
print(shared_obj_comp)
system(shared_obj_comp)

ext_modules = [Extension(# module name:
                         'pyffunc',
                         # source file:
                         ['pyffunc.pyx'],
                         # other compile args for gcc
                         extra_compile_args=[
                             '-fPIC',
                             '-O3',
                             '-I/usr/lib/x86_64-linux-gnu/openmpi/include',
                             '-pthread',
                             '-I/usr/lib/x86_64-linux-gnu/openmpi/lib',
                             ],
                         # other files to link to
                         extra_link_args=['ffunc.o',
                             'pyffunc.o',
                             '-pthread',
                             '-I/usr/lib/x86_64-linux-gnu/openmpi/lib',
                             '-L/usr//lib',
                             '-L/usr/lib/x86_64-linux-gnu/openmpi/lib',
                             '-lmpi_usempif08',
                             '-lmpi_usempi_ignore_tkr',
                             '-lmpi_mpifh',
                             '-lmpi',
                             ])]

setup(name = 'pyffunc',
      cmdclass = {'build_ext': build_ext},
      include_dirs = [get_include()],
ext_modules = ext_modules)

и Python test.py file:

from pyffunc import func


a = 5
b = 9
c = func(5, 9)

print('python: a = {}, b = {}, c = {}'.format(a, b, c))

Может ли кто-нибудь дать мне подсказку в правильном направлении? - Я искал все виды вещей, но я застрял здесь.

1 Ответ

0 голосов
/ 01 октября 2018

Как предложил @Gilles Gouaillardet, хитрость заключалась в том, чтобы действительно скомпилировать Open MPI с опцией configure --disable-dlopen.Хотя я до сих пор не понимаю ни проблему, ни решение.Может быть, у кого-нибудь есть более сложный ответ?

...