Как загрузить кучу изображений для глубокого изучения, не заставляя мой компьютер зависать

Question

У меня есть куча изображений tiff, и моя цель - загрузить эти изображения в массив numpy, чтобы использовать его в моей модели keras в python 3. Проблема в том, что когда я превращаю свои изображения в массивы, моя компьютер завис. Сначала я попытался преобразовать изображения в массив и сохранить все в формате HDF5, теперь я попытался сохранить только 1000 изображений, а затем использовал функцию g c .collect (), чтобы освободить память, а затем проделал эту же процедуру. пока не осталось изображений, но это не сработало.

Так что я хотел бы узнать эффективный способ вставить эти изображения в мою модель. У меня есть около 50.000 изображений здесь. Вы можете мне помочь?

Answer 1

Я думаю, вы можете использовать конвейер данных Tensorflow для эффективной загрузки и использования изображений. Вот пример сценария, который может быть полезен для вас. Assu

files = tf.data.Dataset.list_files('./*.tiff') # need to change path to point image directory
images = files.map(lambda f: tf.io.read_file(f))
images = images.map(lambda image: tf.io.decode_jpeg(image))

Если вы хотите выполнить какую-либо предварительную обработку, вам может помочь следующее:

images = images.map(lambda image: tf.cast(tf.image.resize(image, (128, 128)), tf.uint8))
images = images.map(lambda image: tf.cast(image, tf.float32) / 255)

вам может понадобиться перемешать, повторить, пакетировать набор данных

Для получения дополнительной информации, пожалуйста, посмотрите на страницу tf.data на веб-сайте Tensorflow