Google Colab вызывает высокое использование памяти локально?

Question

Сейчас я провожу модельный тренинг в Google Colab. Прошла всего минута go, выскочило локальное системное сообщение, в котором говорилось, что память почти исчерпана (пока что я ничего не запускал).

Теперь мое использование памяти составляет 40%, но каждый раз, когда я открываю Colab, использование локальной памяти достигает 80 и продолжает расти. Страница Colab зависла, поэтому я не мог остановить текущую среду выполнения.

Как это возможно? Разве Colab не должна быть онлайн-средой? Может быть связано с пакетом tqdm? Поскольку предыдущая версия работала нормально, такая ситуация возникает только тогда, когда я просто добавляю tqdm, чтобы отобразить индикаторы выполнения на экране.

Answer 1

Вы когда-нибудь подключали свой экземпляр Colab к локальному экземпляру Jupyter? Colab должен по умолчанию использовать ресурсы размещенной среды, а не локальные. Пакет tqdm предустановлен для python в Colab и отлично работает в моих ноутбуках. Можете ли вы привести минимальный воспроизводимый пример?

Во-первых, я бы попытался посмотреть на память ноутбука, запустив

!cat /proc/meminfo

экземпляры Colab должны иметь от 12 до 30 ГБ общей памяти. Если он отслеживает локальную память, вы сможете это определить.

Затем я бы попытался сохранить ваш код, закрыв Colab, а затем снова его открыв. Убедитесь, что при повторном подключении выберите «подключиться к размещенной среде выполнения» в раскрывающемся меню подключения (верхний правый угол, под строкой меню GDrive).