поставщик источника веб-страницы - PullRequest
2 голосов
/ 21 апреля 2011

Я пытаюсь получить исходный код страницы в Java с помощью прокси.

Я использовал httpclient, httpunit и HttpURLConnection, все это занимает 5 секунд, когда я перехожу к источнику страницы без прокси, но я использую прокси, а затем 12-15 секунд для одной страницы.

Есть ли способ увеличить скорость или другой класс, который обеспечивает быстрый источник страницы.

1 Ответ

1 голос
/ 21 апреля 2011

Вам нужно определить, где проблема в первую очередь: это тот случай, когда сервер, с которого вы тянете страницы, работает очень медленно или тот факт, что используемый вами прокси-сервер действительно медленный (или оба)? Если вы используете подобные wget (или, возможно, даже curl) в командной строке, которая должна показать вам статистику о времени загрузки страницы - через прокси и в обход прокси. Если эти времена совпадают с тем, что показывает ваш код, то вы ничего не можете оптимизировать. Однако, если вы видите несоответствия, вы можете посмотреть на другие способы использования страниц в вашем коде. Общее правило:

  • используйте Java NIO, если вы имеете дело с большим количеством соединений
  • используйте обычный Java IO, если вы имеете дело с большими передачами только на несколько хостов / серверов
...