ответ doekman является одним из возможных подходов.
В моей компании мы просто используем библиотеку HTTPClient Apache Commons, которая имеет свой собственный менеджер пулов соединений. Эта ссылка ниже должна легко вас начать.
http://hc.apache.org/httpclient-3.x/performance.html
Это ваше собственное ценностное суждение, хотите ли вы использовать другую внешнюю зависимость. Перенеся наши приложения из Tomcat, мы решили сохранить зависимость от HTTPClient просто потому, что его легко использовать, избавляя от необходимости создавать ( и поддерживать) другой фабричный класс.