Вам нужно какое-то централизованное место для отправки пакетов обратно через многоадресную рассылку, или же вам нужен децентрализованный подход, где каждый клиент подключен к каждому другому клиенту, и каждый клиент размещает многоадресную рассылку. Чего вы хотите избежать, так это заставить машины пересылать свои данные на каждую другую машину, что приведет к O (n) времени на отправку сообщения на каждую машину (а I / O медленный!).
В любом случае вы сталкиваетесь с одной и той же проблемой: как объединить аудиопотоки. Одним простым механизмом для достижения этой цели является объединение битовых сигналов или сигналов до того, как вы отправите их обратно (либо через сетевой порт, либо через динамики), но это предполагает, что у вас есть доступ к несжатым и разумно синхронизированным потокам.