Идея для лучшего отслеживания изображений AR за счет улучшения отслеживаемого объекта / поверхности с помощью ИК-освещения

Question

• 1000 * В ходе мозгового штурма, пытаясь решить эту проблему, мне пришла в голову идея проецировать инфракрасные световые линии или формы на плакат или спрятать за плакатом небольшие ИК-светодиоды, излучающие инфракрасный свет через небольшие залы на плакате, создавая узор.

И каким-то образом, с помощью вышеуказанных методов, попробуйте отслеживать паттерны ИК-излучения вместо плаката.

Можно ли это сделать с текущими решениями ARKit или ARCore?

Потому что это было выполнимо с фреймворками Computer Vision, 10 лет go, но с большой задержкой и средними результатами отслеживания.

Есть мысли и идеи по этому поводу?

Answer 1

Об ИК-светодиодах

Идея отслеживания ARKit с помощью инфракрасных светодиодов - это круто, но вы не можете адекватно ее реализовать. ARKit использует ИК-технологию только с камерой TrueDepth, потому что у нее есть соответствующие датчики (точечный проектор и инфракрасная камера - 30 тыс. Точек). Но все задние камеры iPhone и iPad не могут видеть ИК-свет, потому что, как я знаю, Apple добавила ИК-фильтр поверх объектива, который блокирует инфракрасный свет, поэтому ИК-свет не виден на экране iPhone. Вы можете протестировать его с помощью ИК-пульта дистанционного управления для телевизора .

ARKit 4.0

Наиболее практичным решением для надежного отслеживания в ARKit является использование Сканер LiDAR, который вы можете найти в четвертом поколении iPad Pro 2020. LiDAR позволяет отслеживать окружающую среду с очень плохими условиями освещения и без каких-либо характерных точек. LiDAR мгновенно строит me sh (со скоростью наносекунды) на основе топологии объектов реального мира в вашей комнате и применяет к этому me sh предварительно настроенный материал окклюзии.

Однако функция обнаружения изображений ARKit не работает. t зависят от сканеров LiDAR. Это полностью зависит от RGB-камер и алгоритмов компьютерного зрения. Итак, единственное возможное решение в этом случае - правильно осветить отслеживаемое изображение.

ARCore 1.18

На данный момент в последней версии ARCore есть поддержка датчиков ToF для очень быстрого отслеживания окружающая среда (почти так же, как в ARKit 4.0). Это стало возможным после внедрения Depth API. Но в вашем случае, как и в предыдущем примере, это тоже бесполезная функция.

Я должен сказать, что некоторые Android телефоны почти не видят ИК-свет (эти Android телефоны имеют фильтры блокировки ИК-излучения, но эти фильтры не очень качественные). Однако это не поможет вам в отслеживании изображений. Следовательно, единственное надежное решение в этом случае - это также правильно осветить отслеживаемое изображение.