Интересно, почему вы хотите реализовать двоичный протокол для связи клиент-сервер? Мой совет - использовать REST или WebServices. Он имеет огромные преимущества по сравнению с проприетарным двоичным протоколом.
О связи сервер-сервер ... Существует огромное количество вариантов, и мне интересно, почему вы выбрали JGroups. Вы можете остановиться на этом? Я посоветую вам воспользоваться некоторыми решениями для обмена сообщениями, такими как JMS. Существует множество доступных реализаций, таких как ActiveMQ . Это приятно отделит серверы друг от друга.
Если вам необходимо поддерживать общую информацию о конфигурации, именовании, распределенной синхронизации между серверами, вы можете посмотреть Apache ZooKeeper проект.
Если ваши серверы развернуты в инстансах Amazon EC2, то я думаю, что лучшим решением будет использование служб SQS и / или SNS для взаимодействия сервер-сервер.
Вы можете использовать Терракотовую для репликации состояния вашего сервера (все же я рекомендую вам сделать ваши серверы как можно более не имеющими состояния).
Но очень сложно посоветовать что-то более конкретное, потому что вы не описали ни свою систему, ни требования к ней . Я думаю, это было бы очень полезно!