Самый быстрый способ загрузки большого количества (600) больших изображений (42M px) в Python - PullRequest
0 голосов
/ 27 марта 2020

Я обрабатываю изображения с помощью OpenCV и сохраняю их в массиве Numpy с numpy.save. Я обнаружил, что файл такого типа: файл размером 600 (количество изображений) x 5248 (высота) x 7936 (ширина) x 3 (каналы) .npy, который весит около 70 ГБ.

Затем мне нужна другая программа, чтобы загрузить этот файл и показать изображения в быстром темпе. Если я не ошибаюсь, загрузка файла объемом 70 ГБ независимо от объема оперативной памяти является нежизнеспособной.

Отсюда мой вопрос, следует ли сохранять изображения в нескольких меньших массивах? И если так, как я могу определить правильное количество изображений на массив? Что касается загрузки, я должен использовать многопроцессорность или многопоточность?

Кроме того, возможно, есть лучший тип файла для хранения изображений?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...