Wireshark, безусловно, путь. Он будет собирать данные, поступающие на определенный порт (который вы, вероятно, можете легко соотнести с программой). Я надеюсь, что это не происходит по SSL (хотя wireshark не сильно вам поможет, если это так).
Но если вам придется перепроектировать коммуникационный протокол сервера, захват сетевых пакетов - это наименьшая из ваших проблем. Обратный инжиниринг сложен и может быть довольно подвержен ошибкам, поскольку он часто основан на догадках. Я предлагаю сделать это в качестве крайней меры: если сервер предназначен для связи с внешним миром, возможно, где-то где-то есть документация по протоколу, которая будет намного более надежной, чем трассировка проволочной акулы.