Выравнивание двух очень похожих, но немного разных видео

Question

У меня есть два видео о видеоигре Super Sma sh Brothers. В одном видео персонажи существуют. В другом видео персонажи не существуют. Все остальное в видео точно такое же, за исключением символов, которые невидимы в одном из них.

Когда я выводю два видео, я должен вручную выровнять их в видеоредакторе. Как только они выровнены, они остаются в синхронизации c! Однако у видео случайное время начала, что является проблемой.

Каков хороший способ автоматического выравнивания этих двух разных, но чрезвычайно похожих видео? Вот примерные кадры.

Текущие идеи: взять случайный кадр на полпути через видео, сравните с другим видео в том же месте. Используйте Mean Squared Error между пикселями. Двигайтесь вперед 5 секунд и назад 5 секунд. Возьмите кадр с наименьшим отличием MSE и используйте его в качестве подходящего кадра, чтобы удалить смещение из более длинного видео в начале. Это кажется чрезвычайно хрупким и медленным.

Answer 1

Ваша текущая идея хороша, но она не должна быть медленной вообще. Так как разные части изображений являются только бойцами! и мы можем предположить, что эти бойцы всегда находятся в середине изображения, поэтому вам просто нужно сопоставить небольшую часть изображений, например, нарисованный мной прямоугольник:

Кроме того, вы также можете использовать другие методы быстрого сопоставления, такие как функции ORB.