Jsoup (подключение) Java занимает много времени

Question

Я пытаюсь получить несколько строк кода со многих HTML-страниц.

Я использую Jsoup, и для просмотра более 70 страниц HTML требуется более 2 минут (90% времени уходит на создание нового документа с помощью jsoup.connect).

Это нормально? Будет ли использование другого парсера иметь какое-либо значение?

Document doc = Jsoup.connect(Url).timeout(10*1000).get();

Я могу просмотреть все веб-страницы.

Answer 1

jsoup обычно занимает около 2 секунд, чтобы установить соединение и извлечь html-контент

В случае, если URL-адрес перенаправлен на другой сайт, это может занять до 5 секунд.

Может быть, некоторые страницы, которые вы получаете, могут быть перенаправлены, установите тайм-аут на 3 секунды, вы можете знать, что пошло не так ..