Не удается загрузить набор данных для обучения моей модели в Google Colab

Question

В настоящее время я сталкиваюсь с проблемами работы с большим набором данных, я не могу загрузить набор данных непосредственно в Google Colab из-за ограниченного пространства, предоставляемого Google Colab (37 ГБ) Я провел некоторые исследования, и, похоже, это зависит от GPU, который нам назначают, для некоторых людей доступное пространство на диске может быть больше. Поэтому мой вопрос заключается в том, могу ли я загрузить набор данных на сервер, такой как Google Cloud, и затем загрузить его с сервера. Набор данных составляет примерно 20 ГБ, причина, по которой 37 ГБ недостаточно, заключается в том, что при загрузке zip-файла потребуется извлечь файлы, поэтому потребуются дополнительные 20 ГБ, но если я загружу и извлеку файл на сервере, Я бы использовал только 20 ГБ на google colab, любые другие предложения приветствуются, моя конечная цель - найти решение для обучения модели на наборе данных кокосовых орехов.

Answer 1

Еще одним подходом может быть загрузка только файла аннотаций в Google Colab. Нет необходимости загружать набор данных изображений. Мы будем использовать PyCoco API . Далее, при подготовке изображения вместо доступа к файлу изображения из папки Drive / local, вы можете прочитать файл изображения с URL-адресом!

# The normal method. Read from folder / Drive
I = io.imread('%s/images/%s/%s'%(dataDir,dataType,img['file_name']))

# Instead, use this! Url to load image
I = io.imread(img['coco_url'])

Этот метод сэкономит вам много пространства, время загрузки и усилия. Тем не менее, вам понадобится работающее соединение inte rnet во время обучения для получения изображений (что, конечно, у вас есть, так как вы используете colab).

Если вы заинтересованы в более подробном изучении набора данных COCO, вы можете взглянуть на мой пост на среднем .