Разархивировать не удалось до sh в Google Colab

Question

Поэтому я пытаюсь обучить модели автоэнкодера, но у меня возникают трудности при извлечении большого zip-файла и rarfile в Google Drive. это 3GB zip-файл, содержащий 500 каталогов изображений, и 5GB rarfile, содержащий 1,7 миллиона изображений.

Я пытаюсь запустить этот код в Colab, и он завершил извлечение моего 3-гигабайтного zip-файла через 6 часов.

!unzip -q drive/"My Drive"/"Colab Notebooks"/"Dataset"/"Dataset_Final_500"/syn_train_3.zip -d drive/"My Drive"/"Colab Notebooks"/"Dataset"/"Dataset_Final_500"/ 

, но когда я проверил, он создает 86 из 500 каталогов на моем диске Google. Почему это происходит и как мне продолжить, не переиздавая все заново. Есть идеи по извлечению моего 5-гигабайтного rarfile на диск Google?

Любая помощь будет благословением :)

Answer 1

Как сказал @BobSmith, я сначала перенесу весь свой набор данных на локальный диск google colab и извлеку весь его, используя:

!unzip -u -q /content/syn_train_3.zip

и для rar, используя unrar

!unrar e real_train_500_2.rar train_dir

добыча доказана быстрее. и я разделяю набор данных на файлы .npy и снова сохраняю его на диск.

Я обнаружил, что Google Colab использует Файловый поток Google Диска , как Резервное копирование и Syn c на вашем рабочем столе. Было бы больно ждать, пока набор данных синхронизируется между Colab и Drive.

Осторожно, не позволяйте "/drive/My Drive" в Google Colab обмануть вас, что он уже сохранен в Google Drive, ему нужно время для синхронизации c!.