Аудио / видео контент намеки

Question

Какую семантическую информацию можно извлечь из таких носителей? Все было бы хорошо, будь то различие между музыкой и произносимым текстом, обнаружение различных звуков (например, выстрелы, птицы или машины), обнаружение внутренних / наружных снимков или интенсивности движения камеры.

Я знаю, что в этой категории есть много , много , много , много много людей темы исследований, но я не сделал найти любые приложения любого из них. У кого-нибудь есть ссылки на приложения / библиотеки / рабочие прототипы / новости о будущих продуктах по этим темам?

Answer 1

Взгляните на MP4REG , который является органом регистрации для кодовых точек в файлах "Семейства MP4".

Краткий учебник. В мире MPEG4 & QuickTime основной физический строительный блок носителей называется «Атом». Атомы могут содержать не только аудио и видео, но также технические и нетехнические метаданные. Последнее из которых звучит интересно для вас.

например:.

• albm: название альбома и номер дорожки (данные пользователя)
• jp2i: информация об интеллектуальной собственности

Я только один раз внимательно посмотрел на это, что касается метаданных, и у меня сложилось впечатление, что это быстрый и свободный мир. Возможно, вы захотите взглянуть на некоторые низкоуровневые инструменты анализа MP4, которые позволят вам проверить отдельные атомы реальных медиа-файлов. Я думаю, что существуют даже неофициальные (незарегистрированные) нестандартные атомы для использования в определенных системах.

Answer 2

Анализ музыкальных возможностей - огромная тема в наши дни. Представьте себе возможности! http://en.wikipedia.org/wiki/Music_information_retrieval

Также ознакомьтесь с проектом Conet: http://www.archive.org/details/ird059

Answer 3

Лучшая тема для поиска приложений - это то, что вы можете захотеть взглянуть на тему исследования «Поиск и индексация видео на основе контента»

Кроме этого:

• Вы можете использовать методы обучения для классификации полученной информации (видео, отдельные кадры или аудио)
• Вы можете использовать методы кластеризации, чтобы найти похожие разделы аудио или видео

Одним из применений этого является коммерческое удаление. Коммерческие съемники, как правило, используют кластерный подход, чтобы исключить фрагменты рекламных роликов в телевизионном видео.