Предложение Gilads о трекере / оптическом калькуляторе Lucas-Kanade действительно хорошее, и я бы его использовал. Однако у него есть недостаток - он работает не очень хорошо, если сцена изменилась слишком сильно.
Если сцены действительно очень разные (скажем, вы довольно много двигали и поворачивали камеру), вам нужно было бы найти соответствующие точки другим способом. Одним из примеров может быть использование дескриптора SIFT для нахождения признаков изображения на двух изображениях, а затем определения того, какие точки соответствуют друг другу. Если вы знаете матрицы камеры двух изображений, то это становится довольно просто.