Крупномасштабная обработка изображений S3

Question

У меня примерно 80 ТБ изображений, размещенных в корзине S3, которые мне нужно отправить в API для классификации изображений.Как только изображения будут классифицированы, API перенаправит результаты в другую конечную точку.

В настоящее время я думаю об использовании boto для взаимодействия с S3 и, возможно, Apache airflow, чтобы загружать эти изображения партиями и пересылать их в классификацию.API, который будет перенаправлять результаты классификации в веб-приложение для отображения.

В будущем я хочу автоматически отправлять любое новое изображение, добавленное в корзину S3, в API для классификации.Для достижения этой цели я надеюсь использовать лямбда-уведомления AWS и S3 для запуска этой функции.

Было бы это наилучшим решением для такого решения?

Спасибо.

Answer 1

Для ваших будущих сценариев да, такой подход был бы разумным:

• Настройка События Amazon S3 для запуска функции AWS Lambda при создании нового объекта
• Функция Lambda может загрузить объект (в /tmp/) и вызвать удаленный API
• Убедитесь, что функция Lambda удаляет временныефайл перед выходом, поскольку контейнер Lambda может быть использован повторно, и существует ограничение в 500 МБ для хранения

Обратите внимание, что функция Lambda будет запускаться на одном объекте, а не в пакетах.