Сбой оперативной памяти в Google Colab

Question

Я работаю над набором изображений для методов машинного обучения / глубокого обучения. В настоящее время размер данных моего изображения составляет 20 ГБ. И Google Colab обеспечивает максимум 25 ГБ ОЗУ. Таким образом, Google Colab каждый раз падает. Обратите внимание, что мне нужно применять методы уменьшения размеров, такие как PCA, которые требовали, чтобы все данные присутствовали в оперативной памяти одновременно. В противном случае я мог бы подумать о том, чтобы разбить тренировочные данные на более мелкие части.

Как мне получить больше оперативной памяти или любой другой метод для решения этой проблемы? Кто-нибудь может помочь?

Answer 1

Я думаю, что вы можете загрузить данные в свой локальный центр и использовать tf.keras.preprocessing.image.ImageDataGenerator, показанный в в этом примере . Обновите base_dir в примере в соответствии с путем к локальной папке. ImageDataGenerator делает только то, что загружает только несколько изображений (вы можете установить число, называемое batch_size) и обрабатывать их. Пожалуйста, проверьте пример для более подробной информации. Пишите любые вопросы, если у вас есть. Спасибо