Доступ к данным изображения из облачных сегментов Google в виде набора данных ML

Question

Пожалуйста, помогите, если можете! У меня есть много отдельных изображений, хранящихся в ведре Google. Я хочу получить отдельные изображения из корзины через Google Colab. Я уже установил соединение через gcsfuse, но все еще не могу получить доступ к изображениям.

Я пробовал:

I = io.imread('/content/coco/Val/Val/val2017/000000000139.jpg')
I = file_io.FileIO('/content/coco/Val/Val/val2017/000000000139.jpg', 'r')
I = tf.io.read_file('/content/coco/Val/Val/val2017/000000000139.jpg', 'r')

Ни один не сработал, и я запутался.

io.imread возвращает «Нет»

file_io.FileIO возвращает «тензор потока. python .lib.io.file_io.FileIO в 0x7fb7e075e588», который я не знаю, что делать с ,

tf.io.read_file возвращает пустой тензор.

(На самом деле я использую PyTorch, а не Tensorflow, но после некоторых поисков в Google, похоже, TensorFlow может иметь ответ.)

Answer 1

Мне неясно, связана ли ваша проблема с копированием файлов из Google Cloud Storage в Colab или с доступом к файлу в Colab с помощью Python

Как указано в документации Colab чтобы использовать Google Cloud Storage, вы должны использовать инструмент gsutil.

В любом случае, я попытался использовать инструмент gcsFUSE, выполнив эти шаги, и я смог увидеть объекты моего контейнера, выполнив команду! ls

Шаги:

from google.colab import auth
auth.authenticate_user()

Как только вы запустите эту ссылку, будет сгенерирована ссылка, вы можете нажать на нее и выполнить вход.

!echo "deb http://packages.cloud.google.com/apt gcsfuse-bionic main" > /etc/apt/sources.list.d/gcsfuse.list
!curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key add -
!apt -qq update
!apt -qq install gcsfuse

Используйте это установить gcsfuse на colab.

!mkdir folderOnColab
!gcsfuse folderOnBucket folderOnColab

Замените folderOnColab на нужное имя вашей папки, а folderOnBucket - на имя вашего контейнера, удалив gs: // перед именем.

Выполнив все эти шаги и выполнив команду !ls, я смог увидеть файлы из моего хранилища в новой папке в Colab.