Как распознать непрямоугольное изображение в Unity? - PullRequest
2 голосов
/ 16 апреля 2019

Контекст:

Я пытаюсь создать приложение Unity для мобильного устройства, которое распознает крупные объекты, например автомобили, через физическую камеру устройства.

Я смотрел на Wikitude и Vuforia, но они оба, кажется, работают только с небольшими объектами, которые могут поместиться на столешнице. Если я что-то упустил?

Я также смотрел на Open CV и ARCore, но они, похоже, работают только с прямоугольными "маркерами". Например, автомобили не являются прямоугольными, и хотя форма автомобиля всегда будет одинаковой с одного и того же угла, фон и объекты, видимые за автомобилем через окна, всегда различаются, в результате чего библиотека AR пытается сопоставить пиксели, которые не являются часть машины.

Вопрос:

Как создать приложение Unity, которое распознает большой объект или непрямоугольное изображение с помощью физической камеры мобильного телефона?

1 Ответ

2 голосов
/ 16 апреля 2019

Изображение, полученное с камеры, никак не отражает масштаб объекта - это всего лишь массив пикселей, снятый с устройства обнаружения света (обычно это датчик Cmos).У приложения нет способа узнать, является ли объект большим или маленьким (по крайней мере, до тех пор, пока мы не попадем в камеры глубины), поэтому методика распознавания изображения одинакова для больших и маленьких объектов.

Что касается корня вашего вопроса: распознавание объекта, основанного на изображении, является очень сложным предметом, который становится управляемым, только если мы научим алгоритм распознавать маркер или QRCode - они разработаны специальнобыть легко узнаваемым, поэтому больше библиотек делают подобные вещи.

Vuforia пытается распознать все объекты, что удивительно, и не будет заботиться о масштабе объекта, поэтому вы можете попробовать использоватьЭто, в значительной степени, дело в том, что касается простых решений.

Тем не менее, это, вероятно, будет работать только в тех же условиях освещения и потерпит неудачу, если изменится погода и т. д., если автомобиль грязный, влажныйа что нет.

Общий случай, когда мы приближаемся к способности человека распознавать объекты - пока это невозможно, люди обучают свои нейронные сети в течение многих лет, прежде чем они смогут распознавать автомобили.

Для получения дополнительной информации, пожалуйста, прочитайте эту действительно информативную ветку о распознавании изображений (в данном случаеКола, которая намного проще, чем обычная «машина»)

Обработка изображений: улучшение алгоритма распознавания «Кока-Колы»

Вот изображение, показывающее, что оно большевещи выглядят одинаково для камеры

enter image description here

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...