Какие свойства звука могут быть представлены / вычислены в коде?

Question

Это, вероятно, для кого-то с некоторыми знаниями теории музыки. Люди могут идентифицировать определенные характеристики звуков, такие как высота звука, частота и т. Д. На основании этих свойств мы можем сравнивать один звук с другим и получать меру вероятности. Например, довольно легко отличить звук пианино от звука гитары, даже если оба играют одну и ту же ноту.

Если бы нам пришлось выполнить один и тот же процесс программно, начиная с двух аудиосэмплов, какие свойства звуков мы могли бы вычислить и использовать для нашего сравнения? Если говорить более технически, есть ли какие-нибудь популярные API для подобных вещей?

P.S .: Пожалуйста, извините, если я допустил какие-либо элементарные ошибки в своем вопросе или я звучу как полный музыкальный нуб. Это потому что я я полный музыкальный нуб.

Answer 1

Echo Nest имеет простой в использовании анализ API, чтобы узнать все, что вы хотели бы знать о музыкальном произведении.

Может оказаться полезным документация для анализа (предупреждение, pdf-ссылка).

Answer 2

Существует два набора свойств.

«Частотная область» - амплитуды обертонов в конкретной выборке. Это амплитуды каждого обертона.

«Time Domain» - последовательность амплитудных отсчетов во времени.

Вы можете, используя Преобразования Фурье , конвертировать между ними.

Область времени - это то, что звук "есть" - последовательность амплитуд. Частотная область - это то, что мы «слышим» - набор обертонов и высот, которые определяют инструменты, гармонии и диссонанс.

Смесь двух - частот, изменяющихся во времени, - это восприятие мелодии.

Answer 3

Любые свойства, которые вы хотите, могут быть измерены или представлены в коде. Чего ты хочешь?

Хотите ли вы проверить, получены ли два образца от одного и того же инструмента? Что два образца разных инструментов имеют одинаковую высоту звука? Что два образца имеют одинаковую амплитуду? Тот же гниль? Что два звука имеют похожие спектральные центроиды? Что два образца идентичны? Что они идентичны, но, возможно, один из них отразился или пропущен через фильтр?

Answer 4

Игнорируйте все произвольно созданные человеком термины, с которыми вы можете быть незнакомы, и рассмотрите более простое описание реальности.

Звук, как и все, что мы воспринимаем, является просто пространственно-временной моделью в этомслучай "движения" ... атомов (частиц воздуха, струн фортепьяно и т. д.).Движение объектов приводит к движению воздуха, которое создает волны давления в нашем ухе, которые мы интерпретируем как звук.

В вычислительном отношении это легко моделировать;однако, потому что это движение может быть любым паттерном - от сильного случайного колебания до очень регулярного колебания - часто нет постоянной идентифицируемой «частоты», потому что это часто не совершенно регулярное колебание.Форма движущегося объекта, волны, проходящие через него и т. Д., Создают очень сложные узоры в воздухе ... как волны, которые вы бы увидели, если бы ударили по луже воды.

Проблема сводится квыявление общих закономерностей и особенностей движения (на очень высоких скоростях).Поскольку шаблоны являются произвольными, вам действительно нужна система, которая изучает и классифицирует общие модели движения (то есть движения, численно представленные в компьютере) в различные концептуальные группы некоторого вида.

Answer 5

Любые и все свойства звука могут быть представлены / вычислены - вам просто нужно знать, как. Одним из наиболее интересных является спектральный анализ / спектрограмма (см. http://en.wikipedia.org/wiki/Spectrogram).