Как загрузить hdf5 файлы огромного размера в google colab? - PullRequest
Новая
       41

Как загрузить hdf5 файлы огромного размера в google colab?

0 голосов
/ 20 мая 2018

У меня есть файл hdf5 (набор данных изображений) размером 17 ГБ, который мне нужно загрузить и использовать в Google Colab и обучить мою модель на этом наборе данных.Но, тем не менее, когда я использую следующий код для загрузки с моего диска, время выполнения автоматически отключается после процесса аутентификации.Это из-за размера файла или других проблем?Любое решение / ы для преодоления этого?

Фрагмент кода ниже: 

from pydrive.auth import GoogleAuth
from pydrive.drive import GoogleDrive
from google.colab import auth
from oauth2client.client import GoogleCredentials

#Authenticate and create the PyDrive client.
auth.authenticate_user()
gauth = GoogleAuth()
gauth.credentials = GoogleCredentials.get_application_default()
drive = GoogleDrive(gauth)

# Get the file
downloaded = drive.CreateFile({'id': 'my_id'}) #replace the my_id with id of file you want to access
downloaded.GetContentFile('dataset.hdf5')

1 Ответ

0 голосов
/ 29 мая 2018

ЕСЛИ набор данных от kaggle, предоставьте Colab URL-адрес git, и он загрузит его автоматически.В противном случае вы зависите от вашего интернет-соединения.

...