Хотя я использовал это только для работы с аудиофайлами, Python-оболочка вокруг службы анализа звука theechonest может отбирать звук из различных видеофайлов. Для этого он использует общие библиотеки ffmpegs, хотя я считаю, что с этой оболочкой гораздо проще работать через python, чем из командной строки.
Особый интерес в API представляет echonest.video, то есть цитата из документов:
Каркас, который превращает видео в глупую замазку.
Я бы добавил пару других полезных URL, но, очевидно, я могу добавить только один, так как у меня нет репутации ...
в любом случае, надеюсь, это полезное руководство.