Самая быстрая служба БД AWS для запросов к метаданным с вложенными большими носителями - PullRequest
0 голосов
/ 02 июля 2019

Я пытаюсь определить, какой сервис базы данных лучше всего подходит (в основном, с точки зрения скорости) для запроса метаданных мультимедийного контента, такого как изображения / видео / аудио, расположенные на AWS S3. В настоящее время я смотрю на DynamoDB и Redshift, но, возможно, есть лучшие альтернативы, которые я не рассматривал.

Пример использования:

У меня миллионы изображений (и обрезанных участков изображений), проходящих через сеть моделей машинного обучения с полной классификацией изображений, обнаружением ограничивающего прямоугольника и сегментированием пикселей (RLE pixel labeled), где предсказываются вложенные метки и атрибуты / баллы присваиваются. Вложенная структура постоянно развивается. Например, изображение может быть предсказано классификатором полного изображения и получено тег «снаружи», отправлено в детектор объекта, который обнаруживает положения ограничивающих рамок нескольких тегов «person» с координатами x / y / width / height, затем эти культуры могут быть отправлены на дополнительный детектор полного (малого) изображения, который классифицирует эти прогнозируемые культуры человека как «сидящие» или «стоящие». Я хотел бы иметь возможность быстро запрашивать вложенные метаданные, чтобы получить идентификаторы изображений, соответствующие всем изображениям с определенными комбинациями меток.

Пример конкретного запроса:

Каковы местоположения S3 всех изображений, помеченных меткой классификации всего изображения «снаружи», с> = двумя счетами метки обнаружения объекта «человек» и где по крайней мере один объект человека был дополнительно классифицирован как « сидя».

Я просматривал страницу предложения AWS DB и не уверен, что лучше всего подходит для этой задачи. Конечно, если есть гораздо лучшее решение, отличное от AWS / S3, я бы наверняка хотел это знать. Любые предложения с благодарностью!

Редактировать: Немного обновил пример, чтобы более четко описать структуру вложения.

...