Ява читать веб-страницу с помощью URL

Question

как читать следующую страницу с тем же URL-адресом

URL-адрес страницы содержит много страниц, которые я прочитал на первой странице, используя

URL(url).openStream()

, но это просто чтение первой страницы

например, на этом сайте я прочитал первую страницу, как я могу прочитать вторую culture.gov.uk/news/news_stories/6832.aspx

Answer 1

На следующей странице будет ссылка.

Вы можете проанализировать HTML и собрать все ссылки, а затем отфильтровать, какая ссылка является следующей для этой страницы, а затем прочитать ее таким же образом.

Вот пример, в котором будут перечислены все ссылки с данной страницы. - используя JSOUP

Примечание. Для некоторых сайтов делать это, безусловно, нелегально.

Answer 2

Вам понадобится схема URL для подкачки. Например, это может быть url + "?page=" + page. Это зависит от сайта. Обратите внимание, что соскоб не всегда законно .