Желательно ли включать в карту сайта ссылки на каждую страницу сайта или только те, которые в ней нуждаются?

Question

Я нахожусь в процессе создания карты сайта для моего сайта.Я делаю это потому, что у меня есть большое количество страниц, которые обычно доступны пользователям только через форму поиска.

Я создал автоматизированный метод для извлечения ссылок из базы данных и их компиляции.в карту сайта.Однако для всех страниц, которые регулярно доступны и не хранятся в базе данных, мне нужно было бы вручную просмотреть их и добавить их в карту сайта.

Мне кажется, что обычные страницы - это те, которые получаютв любом случае, найденные обычными сканерами, так что кажется сложным ручное добавление на этих страницах, а затем проверка того, что карта сайта постоянно обновляется при любых изменениях в них.

Плохо было бы просто пропустить их,если они уже проиндексированы, и моя карта сайта содержит только мои динамические страницы?

Answer 1

Google будет сканировать любые URL-адреса (разрешенные robots.txt), которые он обнаруживает, даже если их нет в карте сайта.До тех пор, пока все ваши статические страницы доступны с других страниц в вашей карте сайта, их можно исключить.Однако существуют и другие функции XML-файла Sitemap, которые могут побудить вас включить статические URL-адреса в вашу карту сайта (например, даты и приоритеты модификации).

Если вы хотите написать скрипт для автоматической генерации карты сайтаЗаписи базы данных, затем сделайте еще один шаг вперед и сделайте так, чтобы ваш скрипт также генерировал записи для статических страниц.Это может быть так же просто, как поиск через webroot и поиск файлов * .html.Или, если вы используете фреймворк, итерируйте статические маршруты вашей фреймворк.

Answer 2

Да, я думаю, что это нехорошо оставлять их. Я думаю, что было бы также целесообразно найти способ, которым ваши поисковые страницы могут быть найдены сканером без карты сайта. Например, вы можете добавить какую-то страницу расширенного поиска, где пользователь может выбрать в форме поисковый запрос. Сканеры также могут заполнять эти формы.