См. Код ниже. Когда вызывается np.save, запись numpy сохраняется как один большой файл. Я хотел, чтобы numpy сохранил его на мелкие части, основываясь на некотором заданном размере чанка и автоматическом присвоении имен файлам. Наконец, np.load должен загрузить его как memmap для всех файлов деталей.
Я удивлен, почему это недоступно в numpy. Я тоже пытался его искать. Я что-то упустил?
ps: np.recarray не имеет никакого значения, кроме доступа к столбцам записи в качестве атрибутов.
import numpy as np
_size = 10000
_x = np.empty(_size, dtype=np.float32)
_y = np.empty(_size, dtype=np.int32)
npy_rec = np.recarray((_size,), dtype=[('x', '<f8'), ('y', '<i8')])
npy_rec.x = _x
npy_rec.y = _y
np.save("npy_rec.npy", npy_rec)
npy_rec_ = np.load("npy_rec.npy", mmap_mode="r").view(np.recarray)
print(npy_rec)
print(npy_rec_)