10 подключений каждые 10 мс - это одно подключение в миллисекунду, что кажется довольно высокой скоростью.Эти попытки подключения выполняются параллельно?Если это так, возможно, вы заполняете очередь прослушивания сервера listen ();Клиенты IIRC, которые пытаются подключиться, когда очередь невыполненных заданий заполнена, получат ошибку отказа в соединении.
Чтобы проверить эту гипотезу, попробуйте передать большее или меньшее число в качестве второго аргумента для listen () на вашем сервере, и посмотрите, приводит ли это к ошибке соединения отказано более или менее часто.