Как проверить, возвращают ли сгенерированные индексами карты сайта 200 кодов?

Question

Я сгенерировал индексы Sitemap для Google. Единственная проблема, с которой я столкнулся, заключается в том, как проверить, что все сгенерированные индексы (URL) работают или нет. На основании руководства написано примерно так:

вы пишете скрипт для проверки каждого URL в карте сайта на соответствие вашему приложению сервер и убедитесь, что каждая ссылка возвращает код HTTP 200 (ОК). Неработающие ссылки могут указывать на несоответствие между конфигурацией форматирования URL в Sitemap Generator

Я просто хотел посмотреть, есть ли у кого-то такой опыт, как написать такой сценарий?

Answer 1

Как вы создали карту сайта? Я думаю, что большинство инструментов Sitemap будут содержать только те URL, которые ответили «200 OK»

Обратите внимание, что некоторые сайты портятся и всегда отвечают с ответом 200 вместо, например. 404 для недействительных URL. Такие сайты имеют проблемы в будущем:)

Answer 2

Инструменты Google для веб-мастеров сообщат вам в «конфигурации сайта -> Sitemaps» обо всех ошибках HTTP и перенаправлениях (в значительной степени все, кроме HTTP 200), кроме того, в «Диагностике -> Ошибки сканирования -> в файлах Sitemap» есть ещепросмотр ошибок, возникших при сканировании URL-адресов, перечисленных в файлах Sitemap.

Если это не то, что вам нужно, я бы просто выполнил поиск по лог-файлу.(grep для "googlebot" и идентификатора URL, которые вы указали в ваших файлах сайта)

вы можете написать собственный сканер для предварительной проверки, если ваши сайты возвращают HTTP 200, но хорошо, если он возвращаетHTTP 200 для вас сейчас не означает, что он вернет HTTP 200 для googlebot на следующей неделе / ​​месяце / году.поэтому я рекомендую придерживаться инструментов Google для веб-мастеров и анализа файлов журналов (визуализируется с помощью: munin, cacti, ...)