У меня 20 000 изображений в корзине s3, я выяснил, как использовать режим PIPE с sagemaker для отдельных изображений, которые помечены, но я изо всех сил пытаюсь реализовать это, когда у меня есть два изображения, которые равны классу / классу. этикетка.
В 20000 изображений Они объединяются несколько раз для создания помеченных данных, представьте, что имя папки - метка, а внутри - два изображения. Я мог бы копировать изображения несколько раз для каждой используемой комбинации, но это неэффективно с точки зрения хранения и будет намного дороже хранить.
Мой мыслительный процесс состоял в том, чтобы использовать файл манифеста, что позволило бы мне: A) выбрать меньше, чем весь набор данных для тестирования и B) оба изображения можно было выбрать для метки.
Глядя на AWS документы для расширенного файла манифеста, кажется, вы сможете создать что-то вроде
{"image1-ref": "s3 url goes here", "image2-ref": "s3 url goes here", "label": "example"}
Но, похоже, единственные примеры, которые я могу найти показать только одно изображение Я искал похожий вопрос, но то, что я мог найти, ссылался на одно изображение.
Любая помощь будет оценена.