Возможно, вы захотите посмотреть на ECF для серверной части.Вы можете настроить модель публикации / подписки, при которой только сервер может публиковать информацию, но каждый из ваших клиентов имеет доступ к подписке на сервер.
На этом этапе я бы посмотрел на XMPP как на протокол (ECF поддерживает этот протоколиз коробки).Расширения XMPP plus - это то, что Google использует для Google Voice, так что это доказано, и похоже, что это будет надолго.Взгляните на xmpp.org для некоторых библиотек Java.
JMF, как упомянуто JRL, является довольно старой технологией, но она может быть полезна для захвата звука с микрофона и для сохранения голосафайл в файловой системе.