То, что меня интересует больше всего
Об обработке сигналов является
потенциальное применение в музыке. я
помню, некоторое время назад я видел предварительный просмотр
приложения (Извините, забыл
имя)
Может быть cubase ?
который мог бы прослушать запись
кто-то играет на гитаре, и
автоматически наметить это через
график с актуальными нотами / аккордами
которые были сыграны
Глубоко упрощено: когда вы играете ноту, вы создаете периодическую волну с заданной частотой. Есть математический трюк (преобразование Фурье DFT), который преобразует волну в спектр, который вместо представления интенсивности во времени показывает ее частоту волны. Например, идеальная нота от камертона будет генерировать колеблющуюся волну на частоте 440 Гц. Во временной области это будет выглядеть как синусоидальная волна. В частотной области он будет выглядеть как один узкий пик с центром в 440 Гц.
Теперь, когда вы играете на гитаре, вы не создаете идеальных синусоидальных волн. Удар по А произведет основную частоту, 440 Гц, но также и много дополнительных частот (например, 880, на октаву выше, но также и много других более высоких и более низких частот), из-за физики вибрирующей струны, материала и форма гитары и т. д. Эти дополнительные частоты называются гармониками, и они смешиваются с фундаментальными, чтобы произвести «звук гитары» (то, что в музыкальном жаргоне называется тембр ). Другой инструмент (скажем, пианино) будет по-разному смешивать гармоники с основным, создавая другой тембр.
Что делают программы DSP, так это выполняют DFT на входящем сигнале. С помощью дополнительных трюков они находят основные и гармонические составляющие, и в соответствии с тем, что они находят, выводят ноту, которую вы играли. Это должно произойти быстро, потому что вы можете найти ноту, играя вживую и вызывая специальные трюки. Например, вы можете нажать ноту A на гитаре, DSP понимает, что это A, и заменяет ее на A на пианино, поэтому из динамиков вы получаете звук пианино.
Используя программу, пользователь смог
переместить их и даже редактировать
их. Теперь, очевидно, это много
более сложный, но включает ли он
тоже самое? Обработка сигнала? я
Я также заинтересован в возможном
приложения в музыкальных визуализаторах и
интеллектуальные системы освещения.
Да. Как только вы попадаете в частотную область, все становится очень просто. Например, вы можете зажечь определенный источник света в соответствии с частотами голоса, а другой - с бас-барабаном.
Насколько я понимаю, что делать это
обработка сжатого аудио
такой формат, как MP3, не даст такой же
Результаты в виде MIDI, который содержит
отдельные треки (возможно я
непонятый).
Это две разные вещи. MP3 - это сжатый формат звуковой волны. В основном это берет то, что управляет спикерами, и сжимает это. Идея та же: DFT, затем удаление материала, который вряд ли будет слышен (например, высокая высота звука, которая появляется сразу после звука высокой интенсивности, менее вероятна, поэтому его удаляют).
С другой стороны, MIDI - это свиток событий (вы знаете, как те пианино на далеком западе, с прокручивающимся бумажным свитком). Файл не содержит музыки. Вместо этого он содержит указания для MIDI-плеера исполнять определенные ноты в определенное время с помощью определенных инструментов. Качество «банка инструментов» - это (среди прочего) то, что отличает плохого MIDI-проигрывателя (который звучит как детская игрушка) от хорошего MIDI-проигрывателя (который звучит реалистично, в частности, для фортепиано и скрипки, для духовых инструментов, который я до сих пор должен услышать реалистичный).
Проходит переход от MIDI к MP3, вы просто играете через MIDI-плеер. Как раз наоборот, это совсем другая история, гораздо более сложная, и вот тут DSP вступает в игру, как вы сказали.
Это все равно, что кипятить танк с рыбой. Вы получаете рыбный суп. Но попасть из рыбного супа обратно в аквариум намного сложнее.
Был бы несжатый
формат, такой как PCM, лучше чем MP3?
PCM - это метод преобразования аналогового сигнала в цифровой. Таким образом, у вашего вопроса есть фундаментальное недопонимание, что не существует формата PCM (формат RAW - это близкий вызов, содержащий в основном только грубые данные). Если вы спросите, является ли несжатый WAV (который содержит данные PCM) лучше, чем MP3, тогда да, но иногда возникает вопрос: насколько это лучше для человеческого слуха и сколько постобработки вы должны выполнить для этих данных. 1043 *
знать, есть ли существующие
библиотеки, которые могут облегчить это,
или статьи, относящиеся к этой теме
который ориентирован на компьютер
Наука / Программирование, возможно
пример кода. Даже с открытым исходным кодом
визуализаторы звука / музыки или любые другие
код обработки звука с открытым исходным кодом
было бы здорово.
Если вам нравится python, посмотрите на эту страницу
Извините, если я не имел никакого смысла. Как я уже сказал, я не знаю, о чем говорю.
Я тоже, но я немного поиграл с этим.