Как загрузить данные изображения из корзины S3 в ноутбук Sagemaker?

Question

Я только начал использовать aws sagemaker.Я попытался импортировать изображения из моего ведра s3 в блокнот sagemaker.Но я не могу импортировать изображения в блокнот.мое расположение изображения s3: // my_bucket / train как я могу импортировать папку с поездом по указанному пути в мою записную книжку sagemaker.Я рассмотрел некоторые решения здесь, и решения для файла CSV.Все изображения в моем S3 ведре в формате .jpeg.

Answer 1

Какие образцы ноутбуков SageMaker вы пытаетесь использовать?

Если ваши входные данные находятся в корзине S3, вам не нужно загружать их в свой экземпляр ноутбука SageMaker.В этом примере показано, что данные загружаются в корзину S3: https://github.com/awslabs/amazon-sagemaker-examples/blob/master/introduction_to_amazon_algorithms/imageclassification_caltech/Image-classification-fulltraining.ipynb

В целях обучения вы можете настроить s3_train для своей корзины входных данных.

А вот вывод на входе изображенияформат для встроенной классификации изображений.

Answer 2

вы можете использовать s3fs для простого доступа к вашему ведру, а также к файлу изображения в нем.

import s3fs

fs = s3fs.S3FileSystem()

# To List 5 files in your accessible bucket
fs.ls('s3://bucket-name/data/')[:5]

# open it directly
with fs.open(f's3://bucket-name/data/image.png') as f:
    display(Image.open(f))

Answer 3

Вам не нужно загружать изображения из корзины S3 в локальный экземпляр SageMaker для обучения модели. Если вы пытаетесь получить их для исследования / анализа данных, вы можете использовать aws cli из своего ноутбука SageMaker. Вы можете использовать следующую команду, чтобы загрузить образец изображения. Это скопирует sample.jpg в images каталог в вашем pwd.

aws s3 cp s3://my_bucket/train/sample.jpg ./images/sample.jpg

Попробуйте посмотреть amazon-sagemaker-examples repo, чтобы узнать, как работать с форматами изображений в SageMaker.