К сожалению, вы не дали больше технических знаний.
Я предполагаю, что вы сталкиваетесь с очень высокой загрузкой системы, так как соединения установлены, отставание (параметр для прослушивания системного вызова [ServerSocket]) достаточно велико.
Принятие соединений всегда подразумевает переключение в режим ядра, это может вызвать высокую нагрузку на систему и может быть решено только путем масштабирования приложения (с использованием балансировки нагрузки), т. Е. Вам нужны большие машины или их больше.