Можно ли скопировать папку без архивирования из Google Cloud Storage в Google Colab? - PullRequest
Новая
       25

Можно ли скопировать папку без архивирования из Google Cloud Storage в Google Colab?

0 голосов
/ 12 марта 2020

Colab не любит использовать простую копию, подобную этой:

! Gsutil cp gs: // Bucket / Folder_to_be_copied Destination_colab

Должен ли я добавить -r?

1 Ответ

0 голосов
/ 12 марта 2020

Установка ковша на колаб облегчает вам задачу. Вы можете использовать обычные команды linux вместо команд gsutil. Это шаги для установки ведра в колабе. 

from google.colab import auth
auth.authenticate_user()

Как только вы запустите это, будет сгенерирована ссылка, вы можете щелкнуть по ней и завершить вход. 

!echo "deb http://packages.cloud.google.com/apt gcsfuse-bionic main" > /etc/apt/sources.list.d/gcsfuse.list
!curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key add -
!apt -qq update
!apt -qq install gcsfuse

Используйте это для установки gcsfuse на colab. Cloud Storage FUSE - это адаптер FUSE с открытым исходным кодом, который позволяет монтировать сегменты Cloud Storage как файловые системы в системах Colab, Linux или macOS. 

!mkdir folderOnColab
!gcsfuse folderOnBucket/content/folderOnColab

Используйте это для монтирования каталогов.

Вы можете использовать эту документацию для дальнейшего чтения. https://cloud.google.com/storage/docs/gcs-fuse

Отвечая на ваш вопрос, GSUtil можно использовать для копирования целых каталогов без архивирования его содержимого. И ваша команда выглядит хорошо. Интересно, какова часть Destination_colab в вашей команде?

...