Я не думаю, что есть прямой способ сделать это с помощью ОС - это функция, которая может (или не может) присутствовать на звуковой карте. Некоторые звуковые карты имеют петлевой интерфейс - Creative называет это «What U Hear». Вы просто выбираете это как вход, а не микрофон, и записываете с него, используя обычный waveInOpen (), о котором вы уже знаете.
Если звуковая карта не имеет этой функции, то я думаю, что вам не повезло, кроме как сделать что-то сумасшедшее, например, сделать свой собственный драйвер. Или вы можете убедить своих пользователей проложить кабель от выхода динамика к линейному входу:)