Я пытался сохранить всю страницу, используя Java или Python, а также пробовал селен и wget.Наконец, я выбрал HtmlUnit, потому что это может быть легко достигнуто с помощью save ().
Моя страница обрезается, китайские символы отображаются как "?".Есть ли способ изменить кодировку?Или есть какие-то другие инструменты для сохранения всей страницы?
Мой код:
WebClient webClient = new WebClient();
webClient.getOptions().setUseInsecureSSL(true);
try {
HtmlPage htmlPage = webClient.getPage("http://www.fulijr.com/");
File file = new File("fulijr.html");
htmlPage.save(file);
} catch (IOException e) {
e.printStackTrace();
}
Результат:
<?xml version="1.0" encoding="UTF-8"?>
<html>
<head>
<meta charset="utf-8"/>
<meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1"/>
<meta http-equiv="Content-type" content="text/html;charset=utf-8"/>
<meta name="keywords" content="????,????????,??????P2P????"/>
<meta name="description" content="??????????P2P???????????????????????????????????????????????????????????????????????????????????P2P???????????????????????????????????????????????????????????????????????????"/>
...