77 Гига данных загружаются в Google.colab - PullRequest
0 голосов
/ 30 мая 2018

У меня есть файл tar.gz, который содержит 77 гигабайт данных, и я пытаюсь загрузить его в свой Google.colab.Но я получаю

Ошибка выполнения

, а затем он автоматически перезапускается.Пожалуйста, кто-нибудь может помочь?

1 Ответ

0 голосов
/ 30 мая 2018

Google colab предназначен только для исследовательских или образовательных целей, а не для длительного обучения.Он имеет ограничения, наиболее важными из которых являются память.Если вы запустите:

!df 

Вы обнаружите, что выделенное время выполнения составляет около 45-50 ГБ (47 ГБ, если быть точным), вы пытаетесь загрузить 77 ГБ, разве вы не ожидаете, что время выполненияумереть?

Если вы хотите использовать, попробуйте разбить ваши данные на мелкие части и обучить их, удалить и перезагрузить с g-drive и повторить.

См. этот ответ для получения дополнительной информации ооборудование во время выполнения

Какая спецификация оборудования для Google Colab Laboratory?

...