Я обрабатываю изображения с помощью OpenCV и сохраняю их в массиве Numpy с numpy.save
. Я обнаружил, что файл такого типа: файл размером 600 (количество изображений) x 5248 (высота) x 7936 (ширина) x 3 (каналы) .npy, который весит около 70 ГБ.
Затем мне нужна другая программа, чтобы загрузить этот файл и показать изображения в быстром темпе. Если я не ошибаюсь, загрузка файла объемом 70 ГБ независимо от объема оперативной памяти является нежизнеспособной.
Отсюда мой вопрос, следует ли сохранять изображения в нескольких меньших массивах? И если так, как я могу определить правильное количество изображений на массив? Что касается загрузки, я должен использовать многопроцессорность или многопоточность?
Кроме того, возможно, есть лучший тип файла для хранения изображений?