Получить веб-страницу в классе Java

Question

В настоящее время я использую библиотеку htmlunit, чтобы получить веб-страницу со всеми загруженными javascript и jsp. htmlunit не кажется очень мощным - какие существуют альтернативы?

Answer 1

HtmlUnit достаточно мощный, если у вас есть время, чтобы изучить его. Если время, необходимое для изучения HtmlUnit, является вашим препятствием (как и мое), JWebUnit может быть хорошим вариантом для вас. Он основан на HtmlUnit, но его гораздо проще использовать и изучать. Прошло около года с тех пор, как я его использовал, но это было именно то, что мне было нужно, когда я еще был новичком на Java.

Answer 2

HTMLUnit - это на самом деле единственный вариант того, что люди называют «браузером без головы», и, насколько я понимаю, это именно та функциональность, которая вам нужна. Просто вы должны знать (из моего опыта): иногда результат htmlunit, и браузеры немного отличаются; но это зависит от того, что вам нужно (или как вы используете этот результат). Несколько раз я получал неправильное положение динамического элемента, и есть два варианта:

1. Я мог бы изменить javascript, чтобы получить одинаковый результат для всех основных браузеров и htmlunit
2. Мне пришлось добавить стиль CSS и код javascript, которые не влияют на просмотр страницы в браузере, но помогают htmlunit правильно исправить макет.

И на самом деле это вполне логично - ни один браузер не использует htmlunit в качестве движка рендеринга :) И это пока единственная проблема с этой библиотекой.

Answer 3

Я использовал HTTP-клиент Apache и был доволен.

Здесь - ссылка.