Разве отладчик не добавляет накладных расходов?
У меня были такие проблемы, когда я собирал свой сервер MMO.
не могу вспомнить, как я обошел это сейчас.
Я думаю, что это как-то связано с распределением ресурсов на сервисах, я использую подход, предложенный ParmesanCodice (по крайней мере, похожий), и во время тестирования я обнаружил, что первые 5-10 соединений были мусором, но после этого сервис кажется, выбивают новые связи, как будто завтра не будет ...
Может быть, это вещь сокета в рамках.
Вы пробовали нагрузочный тест?
Бросьте на него 1000 соединений и посмотрите, что произойдет, оно должно стать быстрее после обработки каждого из них.