Подсчитайте количество страниц на сайте

Question

Я хотел бы знать, сколько общедоступных страниц на сайте, например, smashingmagzine.com.Есть ли способ подсчитать количество страниц?

Answer 1

Вы можете запросить индекс Google с помощью оператора site.Например:

site:domain-to-query.com

Будет возвращен список страниц сайта, которые в данный момент проиндексированы Google.Другие поисковые системы предоставляют аналогичную функциональность, но я не знаю синтаксис.

Конечно, не все страницы могут быть проиндексированы, и индекс может содержать страницы, которых больше не существует.

Answer 2

Вам нужно в основном сканировать сайт. Ваш процесс будет выглядеть примерно так:

• Начать с корневого домена / домашней страницы
• Поиск всех ссылок, которые указывают в пределах одного домена
• Для каждой из этих ссылок повторите шаги

Ваш цикл завершается, когда больше нет ссылок для сканирования, указывающих в том же домене. Не забудьте остаться на сайте, иначе вы начнете сканировать внешние сайты.

Вы также можете попытаться проанализировать карту сайта, если она у вас есть.

Одним из инструментов, который может оказаться полезным при использовании Java, является JSpider или Sphider в PHP.

Answer 3

Вам нужно будет рекурсивно сканировать разметку каждой страницы, начиная со страницы верхнего уровня, искать любые ссылки на другие страницы и рекурсивно сканировать их. Вам также необходимо отслеживать, что было отсканировано, чтобы не попасть в бесконечный цикл.