Нахождение интересного кадра в видео

Question

Кто-нибудь знает алгоритм, который я мог бы использовать, чтобы найти "интересную" представительную миниатюру для видео?

Я сказал, что 30 растровых изображений, и я хотел бы выбрать наиболее представительный в качестве эскиза видео.

Очевидным первым шагом будет устранение всех черных рамок. Затем, возможно, найдите «расстояние» между различными кадрами и выберите что-то, что близко к среднему.

Есть идеи или опубликованные статьи, которые могут помочь?

Answer 1

Если видео содержит структуру, то есть несколько снимков, то стандартные методы для суммирования видео включают (а) обнаружение снимков, а затем (б) использование первого, среднего или n-го кадра для представления каждого снимка. См. [1].

Однако давайте предположим, что вы хотите найти интересный кадр в одном непрерывном потоке кадров, взятых из одного источника камеры. То есть выстрел. Это проблема «обнаружения ключевых кадров», которая широко обсуждается в текстах IR / CV (информационный поиск, компьютерное зрение). Некоторые иллюстративные подходы:

• В [2] гистограмма среднего цвета вычисляется для всех кадров, а ключевой кадр - это гистограмма с ближайшей гистограммой. То есть мы выбираем лучший кадр с точки зрения его цветового распределения.
• В [3] мы предполагаем, что неподвижность камеры является показателем важности кадра. Как предложено Кровати, выше. Мы выбираем кадры с помощью optic-flow и используем их.
• В [4] каждый кадр проецируется в некоторое объемное пространство контента, мы находим эти кадры по углам пространства и используем их для представления видео.
• В [5] кадры оцениваются по важности с использованием их длины и новизны в пространстве содержимого.

В общем, это большое поле и существует множество подходов. Вы можете посмотреть последние научные идеи на такие научные конференции, как Международная конференция по поиску изображений и видео (CIVR). Я считаю, что [6] представляет полезную подробную сводку видео абстракции (обнаружение и суммирование ключевых кадров).

Для решения проблемы «найди лучшее из 30 растровых изображений» я бы использовал такой подход, как [2]. Вычислить пространство представления кадра (например, цветную гистограмму для кадра), вычислить гистограмму для представления всех кадров и использовать кадр с минимальным расстоянием между ними (например, выбрать метрику расстояния, которая лучше всего подходит для вашего пространства. Я бы попробовал Earth Расстояние маховика).

1. M.S.,. Лью. Принципы визуального поиска информации. Springer Verlag, 2001.
2. B. Гюнсел, Ю. Фу и А.М. Tekalp. Иерархическая временная сегментация видео и характеристика контента. Системы хранения и архивирования мультимедиа II, SPIE, 3229: 46-55, 1997.
3. W. Вольф. Выбор ключевого кадра с помощью анализа движения. На Международной конференции IEEE по акустике, обработке речи и сигналов, стр. 1228-1231, 1996.
4. L. Чжао, В. Ци, С.З. Li, S.Q. Ян и Х.Дж. Чжан. Извлечение ключевых кадров и извлечение кадров с использованием ближайшей характерной линии. В IW-MIR, ACM MM, страницы 217-220, 2000.
5. S. Uchihashi. Видео Манга: Генерация семантически значимых видео резюме. В учеб. ACM Multimedia 99, Орландо, Флорида, ноябрь, стр. 383-292, 1999.
6. Y. Ли, Т. Чжан и Д. Треттер. Обзор методов видео абстракции. Технический отчет, Лаборатория HP, июль 2001 г.

Answer 2

Вы попросили документы, поэтому я нашел несколько. Если вы не находитесь в кампусе или не подключены к нему по VPN, эти документы могут быть труднодоступными.

PanoramaExcerpts: извлечение и упаковка панорам для просмотра видео

http://portal.acm.org/citation.cfm?id=266396

В этом поясняется метод генерации представления ключевого кадра в стиле комиксов.

Аннотация:

В этой статье представлены методы автоматического создания графических видеообзоров, напоминающих комиксы. Относительная важность видео сегментов вычисляется из их длины и новизны. Анализ изображения и звука используется для автоматического обнаружения и выделения значимых событий. Исходя из этой важности, мы выбираем соответствующие ключевые кадры. Выбранные ключевые кадры имеют размер по важности, а затем эффективно упакованы в графическое резюме. Мы представляем количественную оценку того, насколько хорошо сводка фиксирует заметные события в видео, и показываем, как ее можно использовать для улучшения наших сводок. Результатом является компактное и визуально приятное резюме, которое фиксирует семантически важные события и подходит для печати или доступа в Интернет. Такое резюме может быть дополнительно улучшено путем включения текстовых заголовков, полученных с помощью OCR или других методов. Мы опишем, как автоматически сгенерированные резюме используются для упрощения доступа к большой коллекции видео.

Автоматическое извлечение репрезентативных ключевых кадров на основе содержания сцены

http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=751008

Аннотация:

Создание индексов для фильмов - утомительный и дорогой процесс, который мы стремимся автоматизировать. Несмотря на то, что алгоритмы для нахождения границ сцены легко доступны, была проведена небольшая работа по выбору отдельных кадров для краткого представления сцены. В этой статье мы представляем новые алгоритмы для автоматического выбора репрезентативных ключевых кадров на основе содержания сцены. Подробное описание нескольких алгоритмов сопровождается анализом того, насколько хорошо люди чувствуют, что выбранные кадры представляют сцену. Наконец, мы рассмотрим, как эти алгоритмы могут быть интегрированы с существующими алгоритмами для нахождения границ сцены.

Answer 3

Я думаю, вы должны смотреть только на ключевые кадры.

Если видео не кодируется с использованием сжатия, основанного на ключевых кадрах, вы создаете алгоритм на основе следующей статьи: Выбор ключевого кадра с помощью анализа движения .

В зависимости от сжатия видео, вы можете иметь ключевые кадры каждые 2 секунды или 30 секунд. Чем, я думаю, вы должны использовать алгоритм в статье, чтобы найти «самый» ключевой кадр из всех ключевых кадров.

Answer 4

Недавно я работал над проектом, в котором мы немного обработали видео, и мы использовали OpenCV , чтобы выполнить тяжелую работу, связанную с обработкой видео. Нам пришлось извлекать кадры, вычислять различия, извлекать грани и т. Д. В OpenCV есть несколько встроенных алгоритмов, которые будут вычислять различия между кадрами. Работает с различными форматами видео и изображений.

Answer 5

Также может быть полезно отдать предпочтение эстетически привлекательным кадрам. То есть ищите общие атрибуты фотографии - соотношение сторон, контраст, баланс и т. Д.

Было бы трудно найти репрезентативный снимок, если вы не знаете, что ищете. Но с некоторой эвристикой и моим предложением, по крайней мере, вы могли бы придумать что-нибудь хорошее.

Answer 6

Режиссеры будут иногда задерживаться на особенно «интересном» или красивом кадре, так как насчет того, чтобы найти 5-секундный раздел, который не меняется, и затем удалить те участки, которые почти черные?

Answer 7

Ух ты, какой замечательный вопрос. Думаю, вторым шагом будет итеративное удаление фреймов, если между ним и его преемниками практически нет изменений. Но все, что вы действительно делаете, - это сокращаете набор потенциально интересных кадров. То, как именно вы определяете «интересность», является особым соусом, я полагаю, поскольку у вас нет статистики взаимодействия с пользователем, на которую можно положиться, как это делает Flickr.