Я пытаюсь удалить этот сайт shopee.co.id
, но когда я сравниваю HTMlUnit page.asXml()
с проверкой браузера, результат сильно отличается, какой-то элемент в HtmlUnit не отображается
результат из HtmlUnit:
...
<div id="main">
<!-- there is no element here -->
</div>
...
результат проверки браузера:
...
<div id="main">
<!-- lot of element here-->
</div>
...
и вот мой код:
try (WebClient wc = new WebClient(BrowserVersion.FIREFOX_45)) {
wc.getOptions().setThrowExceptionOnFailingStatusCode(false);
wc.getOptions().setThrowExceptionOnScriptError(false);
WebRequest request = new WebRequest(new URL("https://www.shopee.co.id"));
HtmlPage page = wc.getPage(request);
System.out.println(page.asXml());
System.out.println("Done");
} catch (FailingHttpStatusCodeException | IOException e) {
System.out.println("Error while connecting");
}