Как правильно импортировать данные из Google Drive в Google Colab Notebook?

Question

Я знаю, что это очень просто, но мне нужны некоторые указания.

У меня есть ноутбук Jupyter, который я использовал для запуска на своей локальной машине с Linux.В блокноте есть некоторый обучающий код для глубокого изучения, который импортирует набор данных, обработку, обучение и прочее.

На моем локальном компьютере мой набор данных расположен в

'/home/USERNAME/Workspace/Final Year Project/input'

В этой папке input есть две подпапки train и test Когда я запускаю ноутбук на своем локальном компьютере, он работает отлично, но моя система имеет некоторые ограничения, поэтому я решил вместо этого использовать Google Colab.

Но главная проблема, с которой я сталкиваюсь, - это как импортировать тот же самыйнабор данных в Colab?Как я знаю, это можно сделать с помощью Google Диска, но как?

В настоящее время я загружаю свой набор данных в массив numpy , используя путь к файлу

Если яКак загрузить этот набор данных на Google-диск?*Любая помощь могла бы быть полезна.Спасибо.

Answer 1

Простой способ синхронизировать ваши файлы с Drive на macOS или Window - это установить клиент Drive Sync - https://www.google.com/drive/download/

Затем в Colab вы можете смонтировать файлы Drive с помощью следующей команды:

from google.colab import drive
drive.mount('/content/drive')

После этого ваши файлы будут отображаться по пути /content/drive/My Drive и в файловом браузере следующим образом:

Answer 2

Вы должны использовать этот код там после загрузки набора данных на диск

• . Убедитесь, что этот кусок кода скопирован в другую ячейку, прежде чем выполнять ячейки кода, которые у вас есть

Затем запустите эту часть кода

from pydrive.auth import GoogleAuth
from pydrive.drive import GoogleDrive
from google.colab import auth
from oauth2client.client import GoogleCredentials

auth.authenticate_user()
gauth = GoogleAuth()
gauth.credentials = GoogleCredentials.get_application_default()
drive = GoogleDrive(gauth)
file_id = 'REPLACE_WITH_YOUR_FILE_ID'
downloaded = drive.CreateFile({'id': file_id})
print('Downloaded content "{}"'.format(downloaded.GetContentString()))

Примечание: Для каждого файла на диске Google выбудет иметь file_id, который получит разделяемую ссылку этого файла, а в последней части этой ссылки вы получите идентификатор файла.Идентификатор файла выглядит следующим образом: laggVyWshwcyP6kEI-y_W3P8D26sz .

• Заменить этот file_id в коде