Получить полный HTML с помощью Jsoup - PullRequest
Новая
       13

Получить полный HTML с помощью Jsoup

1 голос
/ 02 мая 2019

Я очищаю веб-страницу, используя библиотеку Jsoup, выбирая атрибуты класса, которые содержат строку «nav».

Это код, который выбирает HTML сайта: 

var bodyString = Jsoup.connect(url)
                .ignoreContentType(true)
                .userAgent("Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:25.0) Gecko/20100101 Firefox/25.0")
                .timeout(12000)
                .followRedirects(true)
                .execute()
                .body();

Пример HTML, который выбирается селектором Jsoup CSS: enter image description here

Тем не менее, в браузере тот же веб-сайт Html выглядит так: enter image description here

Как вы видите, элемент ul с id = "varPreviewMenu" содержит элементы li, которые не содержит HTML, полученный Jsoup.

Как я могу получить эти элементы?

1 Ответ

2 голосов
/ 02 мая 2019

Скорее всего, элементы, которые вы видите, динамически добавляются в DOM с помощью некоторого кода JavaScript.Это означает, что они недоступны в теле запроса при использовании Jsoup.

...