Как ориентироваться с URLConnection?

Question

Мое приложение нуждается в некоторой функциональности очистки веб-страниц. У меня есть объект URL, который загружает все данные. Но мне нужно очистить много страниц, и я создаю много объектов URL, чтобы открыть много соединений. Как его оптимизировать, чтобы я мог иметь одно соединение и переходить с него только на другие страницы?

Приветствия

Answer 1

Вы можете использовать HTTP-компоненты Apache , в нем много функций, включая диспетчер соединений, поддерживающий одновременный доступ

Answer 2

Насколько я могу судить, у вас должен быть свой URLConnection для каждого URL (что имеет смысл, так как базовое сетевое соединение также должно меняться).Я серьезно сомневаюсь, что создание этого объекта - ваше узкое место;Я подозреваю, что это сетевое время, но без профиля это трудно узнать наверняка.

Для небольшого количества страниц я бы рассмотрел рабочую очередь (скажем, используя ExecutorService).Для большого количества страниц я мог бы даже заглянуть в Java-версию Map / Reduce .

Редактировать: чтобы Map / Reduce была лучше, чем простая рабочая очередь, вам нужноиметь несколько компьютеров, доступных для очистки.