Webscraping Firebase Page с помощью HTMLUnit - PullRequest
Новая
       68

Webscraping Firebase Page с помощью HTMLUnit

0 голосов
/ 23 октября 2019

Я использую htmlunit 2.36.0 и пытаюсь очистить: https://delightful.dussmann.com/menu/B%C3%BCropark%20Bredeney/B%C3%BCropark%20Bredeney Каким-то образом динамическая выборка содержимого не выполняется с помощью javascript. Кто-нибудь есть идеи, как это исправить? 

@Test
public void testPDFFetch() throws IOException {

    String url = "https://delightful.dussmann.com/menu/B%C3%BCropark%20Bredeney/B%C3%BCropark%20Bredeney";
    WebClient client = new WebClient(BrowserVersion.CHROME);
    client.getOptions().setJavaScriptEnabled(true);
    client.getOptions().setThrowExceptionOnScriptError(true);
    client.getOptions().setCssEnabled(true);
    client.getOptions().setUseInsecureSSL(true);

    client.setAjaxController(new AjaxController() {
        @Override
        public boolean processSynchron(HtmlPage page, WebRequest request, boolean async) {
            return true;
        }
    });
    try {
        HtmlPage page = client.getPage(url);
        // page.wait(20000);
        client.waitForBackgroundJavaScript(10000);
        client.waitForBackgroundJavaScriptStartingBefore(10000);
        Thread.sleep(10000);
        System.out.println(page.asXml());
    } catch (Exception e) {
        e.printStackTrace();
    } finally {
        client.close();
    }

}

1 Ответ

0 голосов
/ 27 октября 2019

Похоже, эта страница использует модули javascript - в настоящее время это не поддерживается HtmlUnit (Rhino)

...