Как приложение Amazon iOS в режиме реального времени ищет продукт?

Question

Мне интересно узнать, как приложение Amazon iOS позволяет искать товар в режиме реального времени:

Демо

Размер приложения составляет более 100 МБ, и может показаться, что приложение содержит модель машинного обучения. Также кажется невообразимым, что они отправляют данные изображений на сервер для анализа при использовании подхода в реальном времени из-за стоимости данных для пользователя и задержки при использовании сервера.

Во время поиска вы можете увидеть несколько точек, представляющих фигуры / текст / поверхность / ближайший объект. Включено ли это с помощью ARKIT?

Если да, то он используется только для анимации точек объектов или оказывает реальное влияние на правильность оформления объекта?

Если нет, то как они достигают этого и по какой причине?

Буду признателен за любую помощь, которая позволит мне увидеть немного яснее или по-новому взглянуть.

Answer 1

Для AR / VR пользовательский опыт Amazon использует шумерский .Это не зависит от платформы.Sumerian построен на открытых веб-стандартах и ​​поддерживает как Apple ARKit (для приложений iOS), так и Google ARCore (для приложений Android и iOS, а также для разработки в Интернете), то есть создатели приложений могут создаватьодно шумерское приложение, которое работает на Android, iOS, Oculus Go, Oculus Rift, HTC Vive, HTC Vive Pro, Google Daydream и Lenovo Mirage.

Опыт AR / VR не требуется !Amazon Sumerian позволяет любому создавать приложения AR / VR.Вам не нужно специализироваться в программировании или 3D-графике, чтобы начать.Вы можете создавать, редактировать и публиковать приложения с помощью веб-браузера, используя шумерский редактор.У Sumerian есть редактор приложений с функцией перетаскивания и библиотека 3D-объектов, его Visual State Machine для создания сценариев сложных автоматизированных сцен, и он вошел в процесс создания AI-хостов, с которыми вы можете иметь полные разговоры внутри этих виртуальных процессов.

Касаясь вашего следующего вопроса : платформы ARKit и ARCore исключительно разработаны для отслеживания камеры с использованием 6DOF.Любой запущенный ARSession (неважно, что: в ARKit или в ARCore) имеет классы конфигурации сеанса, которые управляют всем, что необходимо для отслеживания процесса, включая особенности, которые вы видели в видео.Прочитайте о ARKit ARWorldTrackingConfiguration и ARImageTrackingConfiguration .Также читайте о дополненных изображениях ARCore .

Наряду с 3D-отслеживанием, существуют также методы распознавания изображений (или детектирование изображений).Объекты в видео обрабатываются с помощью облачных вычислений AWS (достаточно мощности, чтобы использовать алгоритмы Amazon AI в течение миллисекунд).

Надеюсь, это поможет.