Как я могу сказать HtmlUnit WebClient для загрузки изображений и CSS? - PullRequest
Новая
       11

Как я могу сказать HtmlUnit WebClient для загрузки изображений и CSS?

11 голосов
/ 11 февраля 2010

Как я могу заставить WebClient загружать внешние таблицы стилей CSS и тела изображений так же, как это делает обычный веб-браузер?

Ответы [ 4 ]

6 голосов
/ 29 апреля 2010

То, что я сейчас делаю, это: 

public static final HashMap<String, String> acceptTypes = new HashMap<String, String>(){{
        put("html", "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8");
        put("img", "image/png,image/*;q=0.8,*/*;q=0.5");
        put("script", "*/*");
        put("style", "text/css,*/*;q=0.1");
    }};

protected void downloadCssAndImages(HtmlPage page) {
        String xPathExpression = "//*[name() = 'img' or name() = 'link' and @type = 'text/css']";
        List<?> resultList = page.getByXPath(xPathExpression);

        Iterator<?> i = resultList.iterator();
        while (i.hasNext()) {
            try {
                HtmlElement el = (HtmlElement) i.next();

                String path = el.getAttribute("src").equals("")?el.getAttribute("href"):el.getAttribute("src");
                if (path == null || path.equals("")) continue;

                URL url = page.getFullyQualifiedUrl(path);

                WebRequestSettings wrs = new WebRequestSettings(url);
                wrs.setAdditionalHeader("Referer", page.getWebResponse().getRequestSettings().getUrl().toString());

                client.addRequestHeader("Accept", acceptTypes.get(el.getTagName().toLowerCase()));
                client.getPage(wrs);
            } catch (Exception e) {}
        }



client.removeRequestHeader("Accept");
}
1 голос
/ 19 августа 2011

Вот что я придумал: 

public InputStream httpGetLowLevel(URL url) throws IOException
{
    WebRequest wrq=new WebRequest(url);

    ProxyConfig config =webClient.getProxyConfig();

    //set request webproxy
    wrq.setProxyHost(config.getProxyHost());
    wrq.setProxyPort(config.getProxyPort());
    wrq.setCredentials(webClient.getCredentialsProvider().getCredentials(new AuthScope(config.getProxyHost(), config.getProxyPort())));
    for(Cookie c:webClient.getCookieManager().getCookies(url)){
        wrq.setAdditionalHeader("Cookie", c.toString());            
    }           
    WebResponse wr= webClient.getWebConnection().getResponse(wrq);
    return wr.getContentAsStream();
}

Мои тесты показывают, что он поддерживает прокси-серверы и что он не только переносит куки-файлы от WebClient, но и если сервер отправляет новые куки-файлы во время ответа, WebClient будет использовать эти куки-файлы

1 голос
/ 17 октября 2010

источник: Как получить закодированное в base64 содержимое для ImageReader? 

HtmlImage img = (HtmlImage) p.getByXPath("//img").get(3);
ImageReader imageReader = img.getImageReader();
BufferedImage bufferedImage = imageReader.read(0);
String formatName = imageReader.getFormatName();
ByteArrayOutputStream byteaOutput = new ByteArrayOutputStream();
Base64OutputStream base64Output = new base64OutputStream(byteaOutput);
ImageIO.write(bufferedImage, formatName, base64output);
String base64 = new String(byteaOutput.toByteArray());
0 голосов
/ 29 апреля 2010

HtmlUnit не загружает CSS или изображения. Они бесполезны для безголового браузера ...

Последнее, что я слышал об этом здесь, но билет помечен как частный: http://osdir.com/ml/java.htmlunit.devel/2007-01/msg00021.html

...