Обнаружение видео в браузере по скриншоту - OpenCV

Question

Я хотел бы нарисовать прямоугольник вокруг видео, воспроизводимого на моем экране. Например, я смотрю видео YouTube в своем браузере. Я хотел бы иметь возможность сделать снимок экрана, проанализировать этот снимок экрана, а затем нарисовать прямоугольник вокруг того, где воспроизводится видео YouTube. Я только начал изучать, как я мог бы это сделать. Я сталкивался с OpenCV. Я понимаю, что OpenCV охватывает много методов компьютерного зрения. Подойдет ли кто-нибудь из них для этой задачи? Кроме того, это то, что можно сделать в режиме реального времени? Наконец, есть ли метод, который будет работать как в браузере, так и на полном экране?

Спасибо!

Edit:

Марк делает хорошую мысль. В идеале я хотел бы иметь возможность идентифицировать видео, используя только один скриншот. Я не уверен, если это, если это возможно, хотя. Как насчет сравнения снимков экрана, снятых за одну или две секунды?

Answer 1

Если видео не воспроизводится в полноэкранном режиме, вы можете:

1. Обнаружение движущихся частей (простые оптические потоки
2. Выполнить сопоставление шаблонов для элементов управления видео: D (намного проще, чем логотипы YouTube, ...)
3. Морфологические операции на полях потока.

Если видео воспроизводится в полноэкранном режиме, SVM, обученный гистограмме оптического потока, должен сообщить вам, что оно полноэкранное.

Answer 2

Вы также можете посмотреть количество деталей текстуры, особенно в каждом цвете.

Компьютерные экраны обычно заполнены пустыми областями. Там, где есть текстура (т. Е. Края), обычно это один цвет (т. Е. Текст), видео или любое фотоизображение, как правило, более сложное и состоит из множества других цветов.

Answer 3

Если это просто видео с Youtube, вы можете использовать алгоритм обнаружения краев (например, Canny или Sobel), чтобы найти границу видеопроигрывателя, и найти логотип Youtube с помощью метода OpenCV MatchTemplate. Комбинация этих двух должна дать вам довольно хорошую точность.

Вы также можете проверить размер прямоугольника границы, поскольку Youtube воспроизводит окна с определенной высотой x шириной.