StyleGAN2 «Ваш сеанс завершился с ошибкой после использования всей доступной оперативной памяти» в начале обучения в Google Colab

Question

Google Colab вылетает, когда я начинаю обучать свою модель StyleGAN2, после отметки 0. Появляется ошибка «Ваш сеанс завершился с ошибкой после использования всей доступной оперативной памяти».

Я использую вилку StyleGAN2, где добавлена ​​поддержка неквадратных изображений. Набор данных состоит из изображений jpg небольшого размера (640x384). Однако их 12 195. Размер файла tfrecords составляет 1,47 ГБ. Команда для обучения:

!python run_training.py --num-gpus=1 --data-dir=./dataset --config=config-f --dataset=cg --mirror-augment=true --metric=none --total-kimg=20000 --min-h=3 --min-w=5 --res-log2=7 --result-dir="/content/drive/My Drive/results"

Хотелось бы узнать, есть ли способ продолжить работу с этим набором данных в Colab после изменения некоторых параметров.

Answer 1

• 1000 зная, что здесь делаю, поэтому, если вы придумали решение, поделитесь им

Answer 2

Ну сообщение понятное, тренировка превышает RAM. Я помню, что есть способ увеличить объем оперативной памяти в Google Colab, но не смог найти его снова. Еще один способ, который вы можете попробовать, - это изменить код, разветвленный для обучения модели, используя пакет за пакетом всех изображений (если он еще не реализован, и вам просто нужно передать в качестве параметра, проверьте документацию StyleGAN2), если размер пакета не соответствует не работает, вы можете попробовать использовать callbacks, чтобы сохранить веса в файл, например, формат pickle до того, как RAM выйдет из строя. Я знаю, что не даю точного решения, но это может сработать для вас:)