Как сопоставить изображения дронов, сделанные в разное время?

Question

Я использую беспилотники для еженедельного мониторинга полей тюльпанов.Я снимаю изображения каждую неделю с заданной траекторией полета на моем DJI Phantom 4. Изображения с помощью Agisoft Metashape объединяются в ортомозаику (большой файл .tif с географической привязкой ~ 2 ГБ).

Я бы хотел сравнить ортомозаику в разное время.К сожалению, ортомозаика не совсем выровнена.Поэтому, когда я кладу ортофотоплан на прошлой неделе, они не совпадают.Вот так:

Две ортомозаики, в одном месте, через неделю.Детали показывают, что орто не выровнены должным образом.

Как показано на деталях, изображения не выровнены.Мне нужно, чтобы они были выровнены для надлежащей проверки, отслеживания роста и т. Д. Я хотел бы создать алгоритм автоматического выравнивания, который подходит для недели 2 (с использованием некоторого перемещения, поворота и возможного растяжения) к неделе 1. Трудность в этом заключается в том, чтотюльпаны меняются со временем, поэтому выравнивание должно опираться на неизменяющиеся элементы, такие как канализация, дорожки и ряды.Кроме того, я хотел бы расширить этот метод для работы с другими культурами.

Каким будет подходящий метод для выравнивания ортофотоплана?

ОБНОВЛЕНИЕ : я протестировал дваметоды:

1. Поиск ключевых точек, сопоставление их и использование RANSAC для выбора наилучших совпадений и определения матрицы гомографии.Применение полученной матрицы для деформации второго изображения приводит к лучшей подгонке, но не к хорошей подгонке.
2. Попытка оптимизировать матрицу гомографии на основе MSE между двумя изображениями в оттенках серого.Результаты похожи: немного лучше, но далеко не идеально.

Я думаю, что главный «виновник» здесь в том, что изображения в любом случае не идеально совпадают, независимо от гомографии.Кроме того, метод ключевой точки, по-видимому, обнаруживает мелкие детали как объекты, тогда как более крупные «детали» (например, канализация) гораздо лучше квалифицируются как сопоставимые функции.Я думаю, что в интеллектуальной предварительной обработке может быть какая-то ценность.

Так что я все еще работаю над этим и буду благодарен за любой совет, который некоторые из вас могут иметь!

Answer 1

Во-первых, ваш вопрос: вы используете ортофотоплан для сравнения состояния вашего сада, располагая его рядом, или, возможно, используете другие методы (вы не упомянули, какие методы вы используете для их сопоставления).

Теперь мой ответ на этот вопрос заключается в том, что если вы хотите видеть их в очень выровненном виде, то вы можете преобразовать homography и затем использовать деформацию изображения для image2, тогда вы сможете увидеть выровненные таким же образом ( это должно работать, так как ваше изображение не меняется с точки зрения функций, а также, если это так, то вы можете использовать RANSAC алгоритм для этой проблемы)

Теперь это шаги:

1. сначала оцените ключевые точки и сопоставьте их для обоих изображений. Вот учебник для шага 1 .

2. Тогда найдите преобразование гомографии к этим изображениям. Вот реализация OpenCV Homography с RANSAC и другими надежными алгоритмами оценки.

3. Затем, чтобы увидеть их выравнивание, вы должны деформировать второе изображение. Опять здесь приведены алгоритмы деформации, реализованные в opencv.

Summery: Вы можете преобразовать одно изображение с другим с помощью простого гомографического отношения, исключая случай с несколькими движущимися объектами. В этом методе шаг 1 даст вам координаты совпадающих точек обоих изображений, просто определите целевое изображение и исходное изображение для оценщика с помощью хмографии и получите гомографическое соотношение черно-белых изображений, чтобы преобразовать одно в перспективу другого.

Это видео также поможет вам.