Отличие элемента страницы HtmlUnit от проверки браузером - PullRequest
0 голосов
/ 21 марта 2019

Я пытаюсь удалить этот сайт shopee.co.id, но когда я сравниваю HTMlUnit page.asXml() с проверкой браузера, результат сильно отличается, какой-то элемент в HtmlUnit не отображается

результат из HtmlUnit:

...
<div id="main">
   <!-- there is no element here -->
</div>
...

результат проверки браузера:

...
<div id="main">
   <!-- lot of element here-->
</div>
...

и вот мой код:

try (WebClient wc = new WebClient(BrowserVersion.FIREFOX_45)) {
        wc.getOptions().setThrowExceptionOnFailingStatusCode(false);
        wc.getOptions().setThrowExceptionOnScriptError(false);

        WebRequest request = new WebRequest(new URL("https://www.shopee.co.id"));
        HtmlPage page = wc.getPage(request);


        System.out.println(page.asXml());           

        System.out.println("Done");

    } catch (FailingHttpStatusCodeException | IOException e) {
        System.out.println("Error while connecting");
    }
...