Как записать большой массив (1D или 2D) в файл hdf5 на каждом временном шаге для симуляции в Фортране - PullRequest
Новая
       33

Как записать большой массив (1D или 2D) в файл hdf5 на каждом временном шаге для симуляции в Фортране

0 голосов
/ 15 сентября 2018

Мое моделирование (написанное на Fortran 90) создает массив (1D, 2D или 3D) на каждом временном шаге.Я хотел бы вывести эти массивы в один файл HDF5, который содержит массивы, созданные для всех временных шагов.Обратите внимание, что поскольку выходной массив на каждом временном шаге имеет одинаковые ранг и размеры, можно объединить эти массивы вместе, добавив дополнительное измерение времени.

Сейчас я просто создаю буферный массив для объединениявыводить массив на каждом временном шаге, а затем записывать буферный массив в набор данных в файле HDF5 в конце моделирования.Но если выходной массив на каждом временном шаге становится больше, буфер может хранить данные только в течение нескольких временных шагов.Поэтому мне нужно сбрасывать данные в HDF5 каждые несколько шагов.

Я просмотрел много постов и документации и обнаружил, что в них упоминаются некоторые методы, такие как набор данных chunked и выбор гиперсписка для эффективного вывода в HDF5.Но я все еще не уверен, как я могу применить это к моему делу.Может ли кто-нибудь дать мне пример с Фортраном 90?

Ответы [ 2 ]

0 голосов
/ 05 ноября 2018

После прочтения некоторой документации по HyperSlab я получил процедуру записи в файл hdf5 на каждом временном шаге.Ниже приведен демонстрационный код.Надеюсь, вы найдете это полезным. 

program test_hyperslab
  use HDF5
  implicit none
  integer :: error  ! error flag

  character(len=9), parameter :: filename = "subset.h5"
  character(len=8), parameter :: dsetname = "IntArray"

  integer(HID_T) :: file_id    ! file identifier
  integer(HID_T) :: dset_id    ! dataset identifier
  integer(HID_T) :: dataspace  ! dataspace identifier
  integer(HID_T) :: memspace   ! memspace identifier

  integer(HSIZE_T), dimension(2) :: dimsm = (/3, 1/)
  integer, dimension(3) :: sdata    ! subset buffer
  integer :: dim0_sub = 3
  integer :: dim1_sub = 1
  integer(HSIZE_T), dimension(2) :: count = (/3, 1/)
  integer(HSIZE_T), dimension(2) :: offset
  integer(HSIZE_T), dimension(2) :: stride = (/1, 1/)
  integer(HSIZE_T), dimension(2) :: block = (/1, 1/)

  integer(HSIZE_T), dimension(2) :: dimsf = (/3, 10/)

  integer, dimension(3, 10) :: rdata    ! data to read

  integer :: rank = 2
  integer :: dim0 = 3
  integer :: dim1 = 10

  integer :: i

  ! initialize fortran interface
  call h5open_f(error)
  ! create a new file with default properties
  call h5fcreate_f(filename, H5F_ACC_TRUNC_F, file_id, error)
  ! create the data space for the dataset
  call h5screate_simple_f(rank, dimsf, dataspace, error)
  ! create the dataset with default properties
  call h5dcreate_f(file_id, dsetname, H5T_NATIVE_INTEGER, dataspace, &
    dset_id, error)
  ! create memory dataspace
  call h5screate_simple_f(rank, dimsm, memspace, error)

  offset(1) = 0
  do i = 1, 10
    offset(2) = i - 1
    sdata = i
    ! select subset
    call h5sselect_hyperslab_f(dataspace, H5S_SELECT_SET_F, &
      offset, count, error, stride, block)
    ! write subset to dataset
    call h5dwrite_f(dset_id, H5T_NATIVE_INTEGER, sdata, dimsm, error, &
      memspace, dataspace)
  enddo

  ! read entire dataset back
  call h5dread_f(dset_id, H5T_NATIVE_INTEGER, rdata, dimsf, error)
  write(*, '(A)') "Data in file after subset written: "
  do i = 1, dim0
    write(*, '(100(1X,I0,1X))') rdata(i, 1:dim1)
  enddo

  ! close everything opened
  call h5sclose_f(dataspace, error)
  call h5sclose_f(memspace, error)
  call h5dclose_f(dset_id, error)
  call h5fclose_f(file_id, error)

  ! close fortran interface
  call h5close_f(error)
end program test_hyperslab
0 голосов
/ 15 сентября 2018

Я думаю, вам нужна дополнительная библиотека для этого.

Пожалуйста, посмотрите ссылку на библиотеку Фортрана здесь: https://support.hdfgroup.org/HDF5/doc/fortran/index.html и некоторые примеры здесь: https://support.hdfgroup.org/HDF5/examples/f-src.html

...