Каков алгоритм выбора лучшей сцены видео?

Question

Когда мы загружаем видео на Youtube или другие сайты обмена видео, сайт автоматически выбирает лучшую или наиболее представительную сцену из видео для показа в качестве значка видео. Как это сделать? Я хочу знать, какой анализ данных или другие алгоритмы изучить, чтобы извлечь наиболее релевантную сцену из видео. Любые ссылки на литературу или реализации будут очень полезны.

Answer 1

Мое предположение:

1. i = 1
2. Сравнить кадр i с кадром i-1 (используя, например, сумму квадратов разницы в интенсивности цвета пикселей)
3. Разница> preset_threshold?
   1. Если да: последовательность кадров ниже порога только что закончилась.Это самая длинная последовательность?
      1. Если да: best = начало этой последовательности.
4. i++
5. Если i < length_of_clip:Перейти к 2.
6. Выберите кадр best.

Идея такова: найти самую длинную «сцену» (серию кадров, переходы которых находятся ниже некоторого произвольного порога), и показатьпервый кадр в этой серии.

Answer 2

Я сильно подозреваю, что "алгоритм" примерно (в псевдокоде):

Random(0, clip.Length)

Answer 3

Простое решение - извлечь некоторые кадры видео и отобразить их случайным образом. Отслеживая рейтинг кликов пользователя, Youtube уже знает, как ранжировать эти кадры.