Как читать изображения AWS S3 из Sagemaker для обработки

Question

У меня в корзине S3 около 10000 изображений.Мне нужно разрезать каждое из этих изображений до 12 меньших изображений и сохранить их в другой папке в корзине S3.Я хочу сделать это через AWS Sagemaker.Я не могу прочитать изображение из корзины S3 из моего ноутбука Sagemaker Jupter.У меня есть код для вырезания изображений.

Нужна помощь в чтении изображений и их сохранении в S3 от Sagemaker. Возможно ли это сделать, а также эффективно?

Answer 1

Вы можете перенести изображения в локальный репозиторий вашего экземпляра SageMaker (например, / home / ec2-user / SageMaker / Pics / с помощью следующей команды:

aws s3 sync s3://pic_folder_in_s3 /home/ec2-user/SageMaker/Pics

или в python:

import subprocess as sb

sb.call('aws s3 sync s3://pic_folder_in_s3 /home/ec2-user/SageMaker/Pics'.split())

Обратите внимание, что для того, чтобы передача произошла, роль, выполняемая вашим экземпляром SageMaker, должна иметь право на чтение из этого местоположения S3