Google Colab Storage - PullRequest
Новая
       7

Google Colab Storage

0 голосов
/ 27 октября 2018

Кто-нибудь знает лимиты хранилища для запуска Google Colab?Кажется, мне не хватает места после загрузки 22-гигабайтного zip-файла, а затем попытки распаковать его, предлагая доступное хранилище размером <~ 40 ГБ.По крайней мере, это мой опыт работы с экземпляром TPU. </p>

Ответы [ 2 ]

0 голосов
/ 28 апреля 2019

В настоящее время объем локального хранилища в colab зависит от выбранного типа среды выполнения аппаратного ускорителя: 

# Hardware accelerator none
!df -h .
Filesystem      Size  Used Avail Use% Mounted on
overlay          49G   22G   26G  46% /

# Hardware accelerator GPU
!df -h .
Filesystem      Size  Used Avail Use% Mounted on
overlay         359G   23G  318G   7% /

# Hardware accelerator TPU
!df -h .
Filesystem      Size  Used Avail Use% Mounted on
overlay          49G   22G   26G  46% /

Даже если вам не нужен графический процессор, переход на этот тип среды выполнения предоставит вамдополнительные 310 ГБ дискового пространства.

0 голосов
/ 20 ноября 2018

Да, локальное хранилище ноутбука Colab сейчас составляет около 40 ГиБ.Один способ увидеть точное значение (в Python 3): 

import subprocess
p = subprocess.Popen('df -h', shell=True, stdout=subprocess.PIPE)
print(str(p.communicate()[0], 'utf-8'))

Однако: для больших объемов данных, локальное хранилище является неоптимальным способом подачи TPU, которыйне подключен напрямую к машине, на которой работает ноутбук.Вместо этого рассмотрите возможность хранения своего большого набора данных в хранилище GCP и получения этих данных из записной книжки Colab.(Более того, объем локального хранилища Colab может измениться, и срок действия самого ноутбука Colab истечет через несколько часов, а вместе с ним и локальное хранилище.)

Взгляните на канонический ноутбук TPU Colab .Внизу есть несколько следующих шагов, которые включают ссылку на Поиск Шекспира с ТПУ .В этой записной книжке приведен следующий фрагмент кода, который демонстрирует аутентификацию GCP для вашего Colab TPU.Это выглядит так: 

from google.colab import auth
auth.authenticate_user()

if 'COLAB_TPU_ADDR' in os.environ:
  TF_MASTER = 'grpc://{}'.format(os.environ['COLAB_TPU_ADDR'])

  # Upload credentials to TPU.
  with tf.Session(TF_MASTER) as sess:    
    with open('/content/adc.json', 'r') as f:
      auth_info = json.load(f)
    tf.contrib.cloud.configure_gcs(sess, credentials=auth_info)
  # Now credentials are set for all future sessions on this TPU.
else:
  TF_MASTER=''
...