Использование CNN для нахождения сопоставления между положением пикселя в изображении и известным 2D представлением? - PullRequest
0 голосов
/ 09 апреля 2020

Rendered 3D surfaces

Выше приведены три различных (визуализированных) примера конфигураций трехмерной поверхности. Крайняя левая сторона является плоской и трансформированной в перспективе, но другие являются неплоскими (по существу, ветер спереди и ветер сзади). Из-за случайности в реальном мире и отсутствия фиксированной позиции камеры существует бесконечное количество конфигураций (одна из которых показана ниже).

Actual 3D surface

Учитывая, что я получаю местоположение в 2D пикселях на изображении выше - было бы реалистично c думать, что сверточная нейронная сеть может изучить отображение между этой точкой и соответствующей координатой в 2D представлении поверхности с известными размерами в сантиметры? Или, скорее, я мог бы go непосредственно из изображения с точкой, отмеченной 2D-координатой в сантиметрах.

В настоящее время лучшее, что я могу сделать, - это использовать SIFT / SURF, чтобы найти приблизительную гомографию (зеленый многоугольник) на изображении), но это громоздко и не дает очень хорошей точности, учитывая, что поверхности неплоские. Таким образом, я надеюсь на лучшую альтернативу, но не хочу комментировать тысячу тренировочных образов без какой-либо надежды на то, что это будет плодотворно.

Я искал документы, но потерпел неудачу Возможно, потому, что я не знаю подходящего термина для этого вида «почти гомографии».

Любая помощь, даже только указатели на справочный материал, будет высоко ценится!

...