Как найти отличительные ключевые кадры в видео?

Question

Мне нужно извлечь один «ключевой кадр» из видео конкретного действия человека (действия могут быть общими), чтобы оно было дискриминационным, а не описательным ( Поиск интересного кадра в видео ).

Короче говоря, мне нужно найти один кадр в баскетбольном видео, который отличает его, скажем, от видео о кофе.

Большинство статей, которые я видел, были какой-то техникой обобщения видео, но извлеченные таким образом кадры не должны быть лучшими для разделения категорий действий. Это мой камень преткновения - во время тестирования у меня есть только тестовое видео для извлечения ключевого кадра, но мне нужна какая-то модель, которая позволит мне извлечь кадр, наиболее отличающийся от других видео категории действий.

Answer 1

У видео фиксированный фон?(неподвижные изображения без движения камеры)

Если это возможно, вы можете использовать следующий простой алгоритм:

1. Для каждого видео вычислите среднее изображение, усредняя каждый пиксель по времени.(= синтетическое репрезентативное изображение).
2. Для каждого видео: A. Для каждого кадра рассчитайте оценку расстояния между ним и репрезентативным кадром других видео.Б. Держите раму с наибольшим общим расстоянием.(кадр, который больше всего отличается от представителей других видео)

Answer 2

Хотя это интересная проблема, для меня это звучит плохо. Вам нужен кадр (есть большая вероятность, что их будет больше одного, поэтому, вероятно, неправильно говорить об «одном кадре»), который отличает ваше тестовое видео от других видео, но вы не знать, что другие видео. Например, что если весь ваш набор состоит из баскетбольных видеороликов? Не зная (или, по крайней мере, не имея разумных ожиданий), каковы другие видео, эта задача невозможна даже для человека.

Один из способов, который я мог бы придумать, включает вероятностную модель, которая помогает вам определить, насколько вероятен фрейм, чтобы быть уникальным или нет. Вы можете обучить эту модель, используя некоторый существующий набор тестов видео: сравнивайте все кадры друг с другом, используя некоторую меру сходства, и сосредоточьтесь на тех, которые встречаются реже всего. Затем примените модель к другому (но похожему) тестовому набору. YMMV.

Наконец, вы упомянули, что вас интересуют категории действий, но вы фокусируете внимание на кадрах, то есть только на неподвижных изображениях. Может быть полезно сначала сегментировать видео в кадры (посмотрите на ссылку, которую вы разместили), а затем искать уникальные кадры. Затем вы можете выбрать своего уникального кандидата в кадре из уникальных снимков.

Удачи!