Создание музыкального каталога и извлечение первых 30 секунд, как только первые слова поются - PullRequest
0 голосов
/ 16 апреля 2010

Я уже прочитал вопрос: отделение певческого голоса от музыки. Мне не нужна эта сложная обработка звука. Мне нужен только какой-то механизм обнаружения, который бы обнаруживал, что во время воспроизведения (или не воспроизведения) играет голос / вокал. Мне нужно извлечь первые 30 секунд, когда вокалист начинает петь вместе с полной музыкой группы. См. Вопрос 2 ниже.

Я хочу создать каталог музыки с использованием клиентов ASP.NET MVC 2 и Silverlight и языка программирования C # .NET 4.0, который будет фронт-магазином. На сервере я также хотел бы создать настольное приложение WPF / Windows для создания каталога музыки из уже существующих музыкальных файлов, большинство из которых содержат метаданные. ID3v1, ID3v2.3, ID3v2.4, iTunes MP4, WMA, комментарии Vorbis, теги APE и т. Д.

Возможно, я бы хотел создать веб-сервис, который позволял бы авторам каталога загружать сжатый альбом и запускать извлечение метаданных музыкальных данных и музыкальных сегментов, как описано ниже. Я был бы счастлив, если бы я достиг нет. 1 ниже.

Допустим, у меня есть 1000-ые песни в формате mp3 (или других форматах), сгруппированные в подпапках с использованием некоторой классификации (Жанр, Исполнители, Альбомы, Композиторы или другие группировки). Я хочу создать таблицы в БД, которые бы упорядочивали песни, чтобы их можно было искать по разным критериям (год, длина, вышеприведенная классификация или по названию песни, описанию и т. Д.) как то, что магазин iTune позволяет своим клиентам. Я хочу извлечь метаданные из различных форматов (я постараюсь получить песни в формате mp3, но могут быть и другие популярные форматы) и разрешить музыку Менеджер каталога, который добавляет недостающие данные из настольных или веб-приложений. Он или другие участники могут загрузить заархивированную музыку с помощью HTML, Silverlight или WPF.

Кто-нибудь может предложить библиотеки с открытым исходным кодом, статьи, фрагменты кода, которые могут сделать это автоматически с использованием .NET и, возможно, БД SQL Server?

Мои основные вопросы таковы. Это проблема обработки звука. Я хочу извлечь 2 музыкальных сегмента (вопросы 1 и 2): 1. Как извлечь музыкальный фрагмент: за 1-2 секунды до начала пения вокала и до 30 секунд с этого момента и 2. Гораздо сложнее найти повторяющиеся фрагменты (обычно можно найти или распознать названия песен, а песни обычно известны по этим рефренам.

  1. Как бы мне создать список песен, которые отлично сочетаются друг с другом, как то, что делает Genius из iTune? Есть ли какие-либо характеристики музыки, которые можно использовать для сопоставления песен?

Цель состоит в том, чтобы люди быстро сканировали и распознавали песни, то есть связывали мелодию, слова с заголовком / альбомом, чтобы они могли принимать разумные решения, такие как покупка песни, создавать песни с похожим настроением.

1 Ответ

2 голосов
/ 17 апреля 2010

Вот пара статей об идентификации голосового сегмента:

Беренцвейг, А.Л., Эллис, DPW, и Лавренс, С. «Расположение поющих голосовых сегментов в музыкальных сигналах», Материалы IEEE Workshop по приложениям обработки сигналов для аудио и акустики, New Paltz, NY, 2001.

Nwe, T.L. и Wang, Y. «Автоматическое обнаружение вокальных сегментов в популярных песнях». Материалы ISMIR, Барселона, Испания, 2004.

...