Как скачать ZIP-файл с HTMLUnit, нажав на якорь

Question

Я пытаюсь загрузить ZIP-файл с HTMLUnit 2.32, используя следующий код.

Я получаю «myfile.zip» больше, чем загруженный через обычный браузер (179 КБ против 79 КБ), и он поврежден.

Как нужно щелкнуть якорь и загрузить файл с помощью HTMLUnit?

        WebClient wc = new WebClient(BrowserVersion.CHROME);

        final String HREF_SCARICA_CONSOLIDATI = "/web/area-pubblica/quotate?viewId=export_quotate";

        final String CONSOBBase = "http://www.consob.it";

        HtmlPage page = wc.getPage(CONSOBBase + HREF_SCARICA_CONSOLIDATI);

        final String downloadButtonXpath = "//a[contains(@href, 'javascript:downloadAzionariato()')]";
        List<HtmlAnchor> downloadAnchors = page.getByXPath(downloadButtonXpath);
        HtmlAnchor downloadAnchor = downloadAnchors.get(0);

        UnexpectedPage downloadedFile = downloadAnchor.click();

       InputStream contentAsStream = downloadedFile.getWebResponse().getContentAsStream();
        File destFile = new File("/tmp", "myfile.zip");
        Writer out = new OutputStreamWriter(new FileOutputStream(destFile));
        IOUtils.copy(contentAsStream, out);
        out.close();

Answer 1

Хотя соображения RBRi интересны, я обнаружил, что мой код работает с HTMLUnit 2.32 без изменений, но я писал файл неправильно!

Я использовал

Writer out = new OutputStreamWriter(new FileOutputStream(destFile));
IOUtils.copy(contentAsStream, out);

пока должен был быть (без OutputStreamWriter)

FileOutputStream out = new FileOutputStream(destFile);
IOUtils.copy(contentAsStream, out);

Answer 2

Немного обновил фрагмент кода, чтобы он заработал. Надеюсь, что встроенные комментарии немного помогают понять, что происходит (используя последний код SNAPSHOT HtmlUnit (2.34-SNAPSHOT 2018/11/03)

final String HREF_SCARICA_CONSOLIDATI = "http://www.consob.it/web/area-pubblica/quotate?viewId=export_quotate";

try (final WebClient webClient = new WebClient(BrowserVersion.FIREFOX_60)) {                                   
    HtmlPage page = webClient.getPage(HREF_SCARICA_CONSOLIDATI);                                               

    final String downloadButtonXpath = "//a[contains(@href, 'javascript:downloadAzionariato()')]";             
    List<HtmlAnchor> downloadAnchors = page.getByXPath(downloadButtonXpath);                                   
    HtmlAnchor downloadAnchor = downloadAnchors.get(0);                                                        

    // click does some javascript magic - have a look at your browser                                          
    // seems like this opens a new window with the content as response                                         
    // because of this we can ignore the page returned from click                                              
    downloadAnchor.click();                                                                                    
    // instead of we are waiting a bit until the javascript is done                                            
    webClient.waitForBackgroundJavaScript(1000);                                                               

    // now we have to pick up the window/page that was opened as result of the download                        
    Page downloadPage = webClient.getCurrentWindow().getEnclosedPage();                                        

    // and finally we can save to content                                                                      
    File destFile = new File("/tmp", "myfile.zip");                                                            
    try (InputStream contentAsStream = downloadPage.getWebResponse().getContentAsStream()) {                   
        try (OutputStream out = new FileOutputStream(destFile)) {                                              
            IOUtils.copy(contentAsStream, out);                                                                
        }                                                                                                      
    }                                                                                                          

    System.out.println("Output written to " + destFile.getAbsolutePath());                                     
}