Как загрузить изображения для обучения нейронной сети в режиме реального времени в Керасе?

Question

Я использую Keras с tensorflow бэкэндом.У меня есть большой набор данных (Caltech 256), который я хочу тренировать.

Я создал четыре .npy файла с именами training, trainlbl, testing, testlbl.

Теперь вместо запуска np.load(), который почти полностью занимает мой оперативный памяти, как я могу загрузить их с диска в режиме реального времени во время тренировок?Из поиска в Интернете я понял, что это можно сделать с помощью генератора данных Keras, но я не могу понять, как.

Answer 1

Возможно, можно было бы ответить на ваш вопрос в этом посте, но я думаю, что это бесполезно, потому что вам нужно больше знаний о том, как использовать или писать глубокие учебные сети.

Мое предложение будет использоватьСуществующие учебники, которые показывают, как создать нейронные сети для классификации изображений.Очень хороший пример - это сообщение в блоге: https://www.pyimagesearch.com/2017/12/11/image-classification-with-keras-and-deep-learning/

Этот парень показывает вам, как вы используете DataGenerator из Keras.DataGenerator может делать гораздо больше, чем просто ленивая загрузка изображений с диска.