Я обнаружил, что узким местом моей программы является класс InetSocketAddress. Он использовал почти 90% процессорного времени.
Возможно, вы выполняете поиск DNS или обратный поиск DNS. Как говорится в комментариях, важно знать, какой метод задействован.