Трудно сказать, не глядя на ваш код.
С одной стороны, есть вещи, которые ваше приложение могло бы делать, которые замедляли бы сетевой ввод-вывод (фактически весь ввод-вывод). Например, чтение или запись небуферизованного потока / читателя по одному байту за раз. Также возможно, что происходит много переключений потоков. Или, может быть, вам следует использовать NIO для повышения пропускной способности.
С другой стороны, медлительность может быть вызвана большой задержкой в сети, низкой пропускной способностью сети или перегрузкой ... или сетевым стеком ОС, который не особенно хорош.
Или это может быть что-то еще.