Мой Блокнот Google Colab не использует мое место на Google Диске объемом 2 ТБ - PullRequest
Новая
       40

Мой Блокнот Google Colab не использует мое место на Google Диске объемом 2 ТБ

3 голосов
/ 24 февраля 2020

У меня есть 2 ТБ дискового пространства в моей учетной записи Google Drive.

Я хотел бы использовать их с Cloud Colab (GPU Python 3).

Я уже смонтировал Место на диске, но я все еще застрял с ~ 69 ГБ хранилища Colab.

(см .: { ссылка })

(1) Установлен Дисковое пространство 

WORKSPACE_PATH = 'ml/'

drive.mount('/content/drive/', force_remount=True)
ROOT_DIR  = '/content/drive/My Drive/science'
BASE_DIR  = os.path.join(ROOT_DIR, WORKSPACE_PATH)

Вывод: Установлен в / content / drive /

(2) Загружено около 40 ГБ данных из GCS: 

bucker_name = 'my_bucket_name'
!gsutil -m cp gs://{bucket_name}/* 'path_to_my_mounted_drive'

Вывод: 

Copying gs://xxx/test.h5...
Copying gs://xxx/train.h5...
[Errno 28] No space left on device
[Errno 28] No space left on device
[Errno 28] No space left on device
[Errno 28] No space left on device
[Errno 28] No space left on device
[Errno 28] No space left on device
[Errno 28] No space left on device
[Errno 28] No space left on device

Когда я проверяю свободное место в хранилище colab: у меня только 3 ГБ / 69 ГБ вместо 2 ТБ .. .

SORAGE SPACE

Что я не так сделал?

1 Ответ

1 голос
/ 27 февраля 2020

Как я понимаю, когда диск смонтирован, необходимо кешировать данные с Google Drive. Даже если у вас есть 2 ТБ в GDrive, у вас все равно будет тот же лимит, что и раньше, поскольку данные необходимо копировать и кэшировать.

Таким образом, вам может потребоваться скопировать деталь, удалить ее, а затем скопировать следующие части. Это может быть немного медленнее.

...