Разобрать весь HTML (средний размер 20 МБ) через URL с помощью JSOUP

Question

Document document = Jsoup.connect("some html url").get();
Elements catelist=  document.select("TEXT");

код выше не дает полный HTML.

Answer 1

Максимальный размер тела по умолчанию ограничен 1 МБ. Вы можете изменить это значение по умолчанию, используя maxBodySize(int):

//for example to set the max body size to 20 MB
Document document = Jsoup.connect(some html url).timeout(0).maxBodySize(1024*1024*20).get();

//or set it to 0 to have an unlimited size
Document document = Jsoup.connect(some html url).timeout(0).maxBodySize(0).get();

Answer 2

Если вы хотите HTML-код полной страницы, тогда используйте:

document.html();

Если вы хотите HTML-код определенного тега, то используйте:

catelist.html();