Как SFM / MVS преодолевает разницу в цвете между разными камерами?

Question

Я знаком с двумя стерео представлениями, но размышляю о том, как точно работают SFM (структура из движения) и MVS (стереофоническое представление Multiview)

Допустим, у меня есть две стереопары камер, (A, B) и (C, D). Я могу рассчитать карту глубины для камеры A, используя стереосистему с двумя видами с камерами A и B. Точно так же я могу рассчитать карту глубины для камеры C, используя стерео с двумя видами с камерами C и D. На основе калибровки я могу превратить карту глубины A в облака точек и раскрасить их значениями цвета с камеры A. Точно так же я могу превратить карту глубины C в облака точек и раскрасить их значениями цвета с камеры C. В идеальном мире, когда я накладываю облака точек A и облака точек C, он должен выглядеть идеально без каких-либо явных проблем с цветом, но, к сожалению, в реальном мире между некоторыми камерами A будет некоторое различие в цвете. и камера C снимает для одной и той же точки в пространстве. Я пробовал различные способы усреднения цвета для облаков точек, которые видны как в камере A, так и в камере C, но независимо от того, какой будет очевидный цветовой «шов» между облаками точек, которые видны только в камере A и облака точек, которые видны как в камере A, так и в камере C.

Однако такого рода проблемы с цветом, по-видимому, не существует в SFM и MVS. Как показано в результатах colmap , AliceVision и RealityCapture . Я прочитал несколько учебных пособий о том, как работает SFM / MVS, но ни один из них специально не объяснял, как он преодолевает проблему цвета. Большинство из них были сосредоточены на объяснении того, как генерировать глубину, и в случае SFM оценивали внутреннюю природу и позу. Может кто-нибудь объяснить мне, какой метод использует обычный SFM / MVS для решения разницы в цвете? Я был бы признателен за ссылку на учебник / документ, который также объясняет это.

Answer 1

Эту проблему необходимо объяснить в двух разных сценариях ios.

1. Неточный SfM: один из источников ошибок, связанных с несоответствием в информации о цвете между различными видами, часто является небольшими ошибками в вычисленных положениях камеры. , Это особенно верно, если несоответствие появляется в последовательных представлениях, поскольку освещенность в реальном мире, скорее всего, не успела сильно измениться в интервале съемки изображений. Ошибки позы влияют не только на раскраску облака точек, но, что наиболее важно, на оценку карты глубины, которая, в свою очередь, усиливает ошибку в вычислении цвета точки из-за неточности в глубине пикселя (которая заканчивается проецированием в неправильном месте в другое изображение). Тот же эффект, если SfM является точным, но алгоритм оценки карты глубины делает плохую работу.
2. Изменения освещения: освещение может различаться между двумя видами одной сцены по многим причинам: изменение положения источника света, экспозиция камеры изменения, изменения атмосферы / окружающей среды, et c. Есть несколько способов справиться с этим в зависимости от стадии, например, SfM или MVS. Например, в SfM проблема заключается в сопоставлении признаков, и экстрактор признаков, устойчивый к изменениям освещенности, в большинстве случаев использует дескриптор, основанный на некоторой форме градиентов в цветовом пространстве, что уменьшает эффект. В MVS есть несколько этапов, основанных на сопоставлении цветов между видами, но наиболее важным является оценка карты глубины (или любая другая форма плотного сопоставления). Это решается с помощью стоимости метри c, устойчивой к изменениям освещения; популярным примером является Нормализованная взаимная корреляция (ZN CC) и улучшенная версия N CC, которая решает именно эту проблему.

Возвращаясь к решению вашей проблемы, предполагая все вышеперечисленное Для вас хорошо работало, чтобы получить красивый цвет для вашего облака точек, есть два популярных решения: 1) усреднение цвета по всем видам точки или 2) выбор только «наилучшего» вида для точки. Очевидно, что проблема в 1 заключается в том, что полученный цвет будет размытым, и для 2 способ выбора вида для каждой точки очень важен для минимизации перехода между различными видами (и для этого есть много способов, но, очевидно, это глобальный подход). будет лучшим).