Реализация «лучшего соответствия» для звуковых эффектов

Question

Я ищу несколько советов по классификации библиотеки звуковых эффектов. У меня есть большой набор случайных звуковых эффектов (думаю, свист, треск, рычание, скрип, выстрелы и т. Д.). Я хотел бы быть в состоянии взять рычание, например, и найти следующий рык, который звучит ближе всего к оригиналу.

Учитывая звук, какой звук из моего набора звучит ближе всего к нему.

Я провел довольно много поисков и нашел два пути, которые я до сих пор исследую. Один использует echonest, хотя их поддержка «лучшего соответствия» выглядит не слишком перспективной для публичных пользователей. Другой вариант - погрузиться в БПФ и построить собственный алгоритм сопоставления. Это хороший вариант, и он будет отличным опытом обучения, но я хотел бы узнать мнение других, которые могут немного больше узнать об обработке звука; особенно короткие клипы .5 сек. - 3 сек., не полная музыка.

Спасибо!

Answer 1

Если вы заинтересованы в попытке создать собственную систему для этого, я могу предложить несколько ключевых слов, которые могут помочь улучшить ваши поиски в Google. В академическом исследовательском сообществе задачу, которую вы описываете, часто называют «поиск аудио на основе контента». Я знаю, что над этим было проделано много работы, и, хотя большинство из них относится к музыке, звуковые эффекты определенно были в центре внимания ряда исследований.

Возможно, вы захотите начать с работы Педро Кано .

Кроме того, недавно я слышал о компании, которая занимается аналогичной работой. Вы можете проверить продукты из Imagine Research .

Это всего лишь пара идей из головы. Я не уверен на 100%, что они будут полезны. Если да, пожалуйста, дайте мне знать!

Answer 2

Я работал в постпродакшне фильмов годами, и, насколько я знаю, нет способа сделать это автоматически. Каждый файл имеет метаинформацию в заголовке файла, которая описывает, на что похож звук. Тогда вы на самом деле ищете не имена файлов, а мета-строку.

Я не думаю, что сортировать эффекты программно тривиально, так как два эффекта, которые звучат одинаково, могут быть совершенно разными, если вы посмотрите на форму волны. Вам нужно будет извлечь значительную информацию о звуке, который вы затем сможете сравнить. Я также не эксперт DSP, может быть, есть способы сделать это