Обнаружение реальных объектов в комнате из приложения AR (WebXR) - PullRequest
1 голос
/ 05 мая 2019

Давайте представим настоящую галерею картин, где посетители могут использовать браузер телефона рядом с картинами, чтобы увидеть (через AR) некоторую информацию об этой картине.

Как я могу сделать это с WebXR? Возможно, точное определение местоположения GPS каждой картины будет недостаточно точным, особенно в помещении. Будут ли маркеры OpenCV arUco, напечатанные и наклеенные на каждой картине, и обнаруживать их с помощью приложения WebXR, лучшим решением? Похоже, они не очень хорошо работают, если вы на расстоянии более 1 м от маркера.

1 Ответ

2 голосов
/ 05 мая 2019

Звучит как интересное приложение.Методы компьютерного зрения, как правило, довольно хороши в категоризации объектов (при наличии надлежащего обучающего набора), но в некоторой степени плохо в выявлении и различении отдельных членов категории (что вы и предлагаете - идентификация отдельных картин из набора всехкартины в категории).

Самое простое решение - выбрать что-то вроде arUco - это идеальный вариант для этого.

Если вы хотите что-то более общее, вам нужносоздать обучающий набор (очень сложно, если ваши картины еще не известны / хорошо документированы) и обучить модели для развертывания на периферийных устройствах, таких как телефоны.Это легко в 10-100 раз превосходит все вышеперечисленное (и вы, вероятно, получите худшие результаты), поэтому, если вы не попытаетесь продемонстрировать передовые достижения компьютерного зрения и не иметь под рукой специалистов по компьютерному зрению, я бы не пошел по этому пути..

Редактировать:

Я вижу, что ваш обновленный вопрос объясняет, что маркеры работают не очень хорошо.Хотя я еще не знаю, насколько глубоко вы в этом разбираетесь, не расстраивайтесь, если это не работает идеально из коробки.Компьютерное зрение - это одна из тех вещей, которая требует больших усилий с параметрами, и часто это может казаться черной магией, когда небольшие изменения в настройке параметров могут существенно повлиять на производительность.Хотелось бы, чтобы было что-то еще, чем я мог бы поделиться, но когда дело доходит до компьютерного зрения, нет никаких общих приемов, которые будут постоянно приносить вам отличные результаты.

...