Возможность сохранения загруженных данных в Google Colab для повторного открытия.

Question

Я недавно начал решать соревнования Kaggle, используя 2 компьютера (ноутбук и ПК).Kaggle дает большое количество данных для обучения ML.

Самая большая проблема для меня - загрузка этих данных, это занимает около 30 ГБ, и еще большая проблема, разархивирование.Я работал на своем ноутбуке, но я решил перейти на ПК.Я сохранил файл ipynb и закрыл ноутбук.

После открытия этого файла я увидел, что все разархивированные данные пропали без вести, и мне нужно потратить 2 часа на его загрузку и разархивирование.

ЕстьМожно ли сохранить все разархивированные данные с этим ноутбуком?Или, может быть, он хранится где-то на Google Disk?

Answer 1

Вы можете использовать емкость хранилища GoogleDrive. Colab позволяет вам хранить эти данные на вашем диске и получать к ним доступ из книжки colab следующим образом:

from google.colab import drive
import matplotlib.image as mpimg 
import matplotlib.pyplot as plt
import pandas as pd

drive.mount('/content/gdrive')
img = mpimg.imread(r'/content/gdrive/My Drive/top.bmp')  # Reading image files
df = pd.read_csv('/content/gdrive/My Drive/myData.csv')  # Loading CSV

Когда он монтируется, он попросит вас посетить конкретный URL-адрес, чтобы предоставить разрешение на доступ к диску. Просто вставьте полученный токен. Необходимо сделать только один раз.

Лучшее в colab - это то, что вы также можете запускать командные оболочки из кода, все, что вам нужно сделать, это поставить перед командами префикс ! (удар). Полезно, когда вам нужно расстегнуть молнию и т. Д.

import os
os.chdir('gdrive/My Drive/data')  #change dir
!ls
!unzip -q iris_data.zip 
df3 = pd.read_csv('/content/gdrive/My Drive/data/iris_data.csv')

Примечание: Поскольку вы указали, что объем данных составляет около 30 ГБ, это может быть бесполезно, если вы находитесь на бесплатном уровне, предоставляемом Google (поскольку он предоставляет только 15 ГБ на учетную запись), возможно, вам придется посмотри в другом месте.

Вы также можете посетить этот конкретный вопрос для получения дополнительных решений по Kaggle интеграции с Google Colab .