Извлечение слайдов из видео лекций с использованием OpenCV

Question

Я хотел бы извлечь все слайды из видео лекции, используя OpenCV. Вот пример лекции: http://www.youtube.com/watch?v=-hxOpz9c0bY.

Какие подходы вы бы порекомендовали? Пока что пробовал:

• Сравнение изменения интенсивности оттенков серого от кадра к кадру. Это может иметь проблемы, когда объект на переднем плане перемещается. Например, в этой лекции есть рука, которая перемещается: http://www.youtube.com/watch?v=mNzu42FrlHo#t=07m00s.

• Использование функций SURF и сравнение кадров за кадром. Этот подход кажется медленным.

У кого-нибудь есть другие идеи?

Answer 1

Что вам нужно, это обнаружение смены сцены. После этого вам придется классифицировать сцены как «лекционный зал» или «презентация». Что касается проблемы с руками - вы можете использовать вычитание фона с адаптивным фоном (просто убедитесь, что вы маскируете передний план ... вы не хотите, чтобы передний план становился частью фона).

Answer 2

Вы можете попробовать обнаружить края и найти прямоугольный объект - слайды (выше определенного порога области).Вы можете еще больше уменьшить FP, посмотрев текст внутри прямоугольника.

Answer 3

Большая часть этой работы, скорее всего, уже выполнена видеокодером. Вам просто нужно извлечь ключевые кадры и проверить, насколько хорошо сжаты кадры между ними.

Также должно быть довольно легко отличить неподвижные изображения. Вы можете сэкономить много времени, рассматривая только ключевые кадры. Слайды, вероятно, имеют высокую контрастность, сплошные формы, сплошной фон. Лекционный зал имеет размытые формы и низкий контраст.