Оптический поток: что именно является временной производной? - PullRequest
1 голос
/ 29 мая 2019

Я пытаюсь понять, что означает временной производной в изображении.Хотя я понимаю уравнение постоянства яркости, я не понимаю, почему взятие разницы между двумя изображениями дает мне временную производную.

Взятие разницы между двумя кадрами дает мне разницу в интенсивности пикселей на пиксель между двумя, но как это то же самое, что спрашивать, насколько изображение изменилось за определенный промежуток времени?

Ответы [ 2 ]

1 голос
/ 29 мая 2019

Производная по времени dI/dt изображения I(x,y,t) - это скорость изменения изображения со временем в определенной позиции.Как вы заметили, это разница в интенсивности пикселей между двумя кадрами.Учитывая один пиксель в (x,y), аппроксимация конечной разности производной равна

f_d = ( I(x,y,t+delta) - I(x,y,t) ) / delta, так что f_d -> dI/dt как delta -> 0.

В этом случае delta простоустановить на один.Таким образом, мы аппроксимируем производную изображения (по времени) разницей между соседними кадрами.


Один аспект, который может сбивать с толку, заключается в том, как это связано с движением объектов в изображение.Например, если у вас есть некоторый физический фон, вы можете подумать о разнице между эйлеровыми и лагранжевыми системами отсчета : в более интуитивной лагранжевой точке зрения вы рассматриваете объект, движущийся путем слеженияэто над пикселями (пространство), в котором он движется, например, наблюдая за кошкой, когда она прыгает через забор. Eulerian представление, которое ближе к тому, что мы делаем в оптическом потоке, состоит в том, чтобы отслеживать , что происходит с одним пикселем , и никогда не отвлекаться от него.Когда кошка проходит через эту область (пиксельного) пространства, значения пикселя изменятся, а затем вернутся в «нормальное состояние», когда оно исчезнет.

Эти два представления в некотором смысле эквивалентны, но могут быть полезны в различных ситуациях.В компьютерном зрении слежение за объектом составляет трудно , в то время как вычисление этих эйлерово-подобных временных производных составляет легко .В идеале мы могли бы отслеживать кошку: рассмотрим точку p(t)=(x_p(t),y_p(t)) на ее голове, затем вычислим dp/dt и вычислим p(t) для всех t и используем ее для последующей обработки.К сожалению, это сложно, поэтому вместо этого мы надеемся, что постоянство яркости обычно локально верно, и используем оптический поток для оценки dp/dt.Конечно, dI/dt часто не хорошо соответствуют dp/dt (поэтому постоянство яркости является предположением).Например, рассмотрим свет, движущийся вокруг неподвижной сферы: dI/dt будет большим, но dp/dt будет нулевым.

0 голосов
/ 29 мая 2019

Разница между последующими кадрами равна приближению конечной разности к временной производной.

Надлежащие единицы будут получены, если значение будет разделено на время между кадрами (то есть умножено на значение количества кадров в секунду).

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...