Аудио программирование, обработка звука и DSP

Question

Я играл с караоке-приложением на iPhone и задал следующие вопросы:

1. Приложение позволяло пользователям контролировать громкость исполнителя; даже немой. Как это возможно? Означает ли настройка звука исполнителя / настройки эквалайзера и т. Д. Выполнение какого-либо преобразования требуемых частот? Какая математика здесь требуется (преобразования в частотной области)?

2. Приложение записывает голосовой ввод пользователей через микрофон. Предполагая, что звук записан в каком-либо формате, приложение смогло смешать запись с караоке-треком (с отключенным голосом артистов). Как это может быть сделано? Играли ли они одновременно трек и запись голоса? Или, может быть, они вставили дополнительную частоту (канал?) В оригинальную дорожку, может быть, заменили ее?

3. Какой тип DSP здесь задействован? Возможно ли это на Java, цель C?

Мне любопытно, и если у вас есть ссылки на документы или книги, которые могут помочь мне понять механизм здесь, пожалуйста, поделитесь.

Спасибо.

Answer 1

Я не знаю, какое конкретное приложение, возможно, у него есть диктофон отдельно.

Для стандартного 2-канального стереозвука простейшее подавление голоса может быть выполнено при условии, что голос исполнителя каким-то образом сбалансировандва канала (акустически он появляется в центре).Таким образом, самый простой «DSP» будет вычитать один канал из другого.Однако это не очень хорошо работает с современными записями, поскольку все инструменты и голос записываются отдельно, а затем смешиваются (это означает, что голос не обязательно будет в фазе между двумя каналами).

Answer 2

Я написал два подробных блога о том, как получить собственный эквалайзер в iOS. Но у меня нет подробностей о том, как сделать DSP самостоятельно. Если вы просто хотите выбирать между широким спектром эффектов и тому подобным, попробуйте это.

Первый пост объясняет, как вы собираете libsox: http://uberblo.gs/2011/04/iosiphoneos-equalizer-with-libsox-making-it-a-framework

Второй объясняет, как его использовать: http://uberblo.gs/2011/04/iosiphoneos-equalizer-with-libsox-doing-effects

Пожалуйста, ответьте, если это помогло вам! спасибо!