Проблема с включенными модулями при компиляции программы с mpifort - PullRequest
Новая
       17

Проблема с включенными модулями при компиляции программы с mpifort

0 голосов
/ 13 июня 2019

Я работаю над инструментом Python для пост-обработки данных, написанных в инструменте моделирования Fortran. Поскольку многие из методов уже реализованы в Fortran, и я не хочу делать ресурсоемкие вычисления в Python, я сделал следующее:

  1. Написал обертку на фортране, инициализировал некоторые данные и импортировал модули из программы моделирования.
  2. Скомпилировал модули fortran с помощью mpifort и связал их вместе в общей библиотеке (.so)
  3. Связал разделяемую библиотеку с оберткой и создал новую разделяемую библиотеку, которую я могу загрузить в python.

Первая проблема возникает при компиляции программных модулей. Компиляция завершается с ошибкой, поскольку она не может найти файл модуля (который был скомпилирован и находится в каталоге модуля). 

mpifort -fPIC -xHost -fpp -O3 -heap-arrays -shared -mcmodel=large -safe-cray-ptr -g -traceback -I./obj/ -module ./obj/ -c src//decomp_2d.f90 -o obj//decomp_2d.o
mpifort -fPIC -xHost -fpp -O3 -heap-arrays -shared -mcmodel=large -safe-cray-ptr -g -traceback -I./obj/ -module ./obj/ -c src//glassman.f90 -o obj//glassman.o
mpifort -fPIC -xHost -fpp -O3 -heap-arrays -shared -mcmodel=large -safe-cray-ptr -g -traceback -I./obj/ -module ./obj/ -c src//ftt_generic.f90 -o obj//ftt_generic.o
mpifort -fPIC -xHost -fpp -O3 -heap-arrays -shared -mcmodel=large -safe-cray-ptr -g -traceback -I./obj/ -module ./obj/ -c src//module_param.f90 -o obj//module_param.o
src//module_param.f90(3): error #7002: Error in opening the compiled module file$
  check INCLUDE paths.   [DECOMP_2D]
  use decomp_2d, only : mytype 
-----------^

Здесь следует отметить, что и glassman.f90, и ftt_generic также используют decomp_2d и, похоже, не имеют проблем с его поиском. Теперь, если я снова запускаю make, все компилируется, и моя общая библиотека создается: 

mpifort -fPIC -xHost -fpp -O3 -heap-arrays -shared -mcmodel=large -safe-cray-ptr -g -traceback -I./obj/ -module ./obj/ ./obj//decomp_2d.o ./obj//glassman.o ./obj/ /fft_generic.o ./obj//module_param.o ./obj//io.o ./obj//variables.o ./obj//poisson.o ./obj//schemes.o ./obj//BC-Channel-flow.o ./obj//derive.o ./obj//parameters.o ./obj//tools.o -DVISU -DVISUEXTRA -DDOUBLE_PREC -DSTRETCHING -DPOST  -o lib/i3dlib.so

Чтобы создать другую общую библиотеку: 

mpifort -fPIC -xHost -fpp -O3 -heap-arrays -shared -mcmodel=large -safe-cray-ptr -g -traceback -I./obj/ -module ./obj/ -Ilib/i3dlib.so ./obj//ipp.o -o lib/ipplib.so

В питоне я бегу: 

from ctypes import cdll
ipp = cdll.LoadLibrary('./lib/ipplib.so')
ipp.ipp_mp_init_()

Что я получаю: 

Traceback (most recent call last):
File "test/derivtest.py", line 5, in <module>
Ipp = cdll.LoadLibrary('./lib/ipplib.so')
File "/usr/lib/python3.5/ctypes/__init__.py", line 425, in LoadLibrary
return self._dlltype(name)
File "/usr/lib/python3.5/ctypes/__init__.py", line 347, in __init__
self._handle = _dlopen(self._name, mode)
OSError: ./lib/ipplib.so: undefined symbol: decomp_2d_mp_decomp_2d_init_

Вот символы из моего общего объекта скомпилированной оболочки 

>> nm ./lib/ipplib.so

00000000002013b8 B __bss_start
00000000002013c0 b completed.7594
                 w __cxa_finalize@@GLIBC_2.2.5
0000000000000000 N .debug_info_seg
                 U decomp_2d_mp_decomp_2d_init_
0000000000000c20 t deregister_tm_clones
0000000000000cb0 t __do_global_dtors_aux
0000000000201088 t __do_global_dtors_aux_fini_array_entry
00000000002013b0 d __dso_handle
0000000000201098 d _DYNAMIC
00000000002013b8 D _edata
00000000002014e8 B _end
0000000000000e80 T _fini
                 U for_read_seq_lis
                 U for_write_seq_lis
0000000000000cf0 t frame_dummy
0000000000201080 t __frame_dummy_init_array_entry
0000000000001078 r __FRAME_END__
0000000000201398 d _GLOBAL_OFFSET_TABLE_
                 w __gmon_start__
0000000000000f70 r __GNU_EH_FRAME_HDR
0000000000000be0 T _init
0000000000000d20 T ipp._
0000000000000d50 T ipp_mp_getfield_
0000000000000d60 T ipp_mp_init_
0000000000000d30 T ipp_mp_main_
0000000000000d40 T ipp_mp_setfield_
                 w _ITM_deregisterTMCloneTable
                 w _ITM_registerTMCloneTable
0000000000201090 d __JCR_END__
0000000000201090 d __JCR_LIST__
                 w _Jv_RegisterClasses
00000000002014a0 B mpi_fortran_argv_null_
00000000002014e0 B mpi_fortran_argvs_null_
0000000000201420 B mpi_fortran_bottom_
0000000000201460 B mpi_fortran_errcodes_ignore_
0000000000201440 B mpi_fortran_in_place_
00000000002013e0 B mpi_fortran_statuses_ignore_
0000000000201400 B mpi_fortran_status_ignore_
0000000000201480 B mpi_fortran_unweighted_
00000000002014c0 B mpi_fortran_weights_empty_
                 U mpi_init_
                 U parameter_
0000000000000c60 t register_tm_clones
                 U schemes_
0000000000000e8c r __STRLITPACK_0
0000000000000e98 r __STRLITPACK_2.0.3
0000000000000ea0 r __STRLITPACK_3.0.3
00000000002013b8 d __TMC_END__
                 U var_mp_init_variables_

И у i3dlib.so есть строка 

0000000000049fc0 T decomp_2d_mp_decomp_2d_init_

1 Ответ

0 голосов
/ 13 июня 2019

Проблема (частично) решена. У меня была опечатка в команде компилятора: 

mpifort -fPIC -xHost -fpp -O3 -heap-arrays -shared -mcmodel=large -safe-cray-ptr -g -traceback -I./obj/ -module ./obj/ -Ilib/i3dlib.so ./obj//ipp.o -o lib/ipplib.so

Вместо: 

mpifort -fPIC -xHost -fpp -O3 -heap-arrays -shared -mcmodel=large -safe-cray-ptr -g -traceback -I./obj/ -module ./obj/ -I./obj/ lib/i3dlib.so ./obj//ipp.o -o lib/ipplib.so

До того, как библиотеки не были связаны. Теперь я могу вызвать метод, который я хотел от python.

Однако сохраняется другая проблема - почему я должен компилироваться дважды? Почему он не видит скомпилированный модуль в директории include при первом запуске, а видит его при втором?

...