Итак, я пытаюсь загрузить этот набор данных: https://data.broadinstitute.org/bbbc/BBBC006/, и у меня есть скрипт на python, который извлекает zip-архив и извлекает его локально.Это работало на моей локальной машине, но каждый из них - 1 ГБ +, и я не хочу хранить это локально.Когда я попытался загрузить 34 папки в облаке Google с объемом памяти около 50 ГБ, он каждый раз падал вокруг 9-й папки с ошибкой памяти.Если бы мой друг сказал мне, что мне нужно сначала загрузить их в хранилище, а затем вытащить их по сетам в виртуальную машину, но много расскажу об облачной инфраструктуре и мог бы использовать некоторые указатели.
Характеристики: 34 папки (с веб-сайта) по 1 ГБ + каждаяZIP-файлы в облаке Google
Спасибо!