Итак, у меня есть этот большой файл hdf5, который содержит несколько больших наборов данных. Я обращаюсь к нему с помощью h5py и хочу прочитать части каждого из этих наборов данных в общий ndaray. К сожалению, разделение по наборам данных не поддерживается, поэтому мне было интересно, какой самый эффективный способ собрать ndarray с этими наборами данных с учетом обстоятельств?
В настоящее время я использую что-то вроде следующего:
with concurrent.futures.ThreadPoolExecutor() as executor:
executor.map(assemble_array, range(NrDatasets))
, где функция assembly_array считывает данные в предопределенный буфер ndarray соответствующего размера, но это не достаточно быстро: /
Кто-нибудь может помочь?