Как проверить весь веб-сайт, чтобы увидеть, ссылается ли какая-либо страница на нем на определенный URL?

Question

Мы столкнулись с проблемой на наших веб-сайтах, потому что страницы средств веб-защиты, такие как страницы Norton, продолжают сообщать определенным посетителям в определенных браузерах, что наши веб-сайты представляют потенциальную опасность, поскольку мы ссылаемся на определенную http://something.abnormal.com/ (пример Только URL).

Я пытался прочесывать сайт постранично, но безрезультатно.

Мой вопрос, знаете ли вы какой-нибудь сайт, который мог бы "ползти" по страницам нашего веб-сайта, а затем проверить, нет ли в них текста, изображения или чего-либо другого, ссылающихся на ненормальный URL, который продолжает вызывать ошибки.

Большое спасибо! :)

Answer 1

Если ваши сайты состоят из небольшого количества страниц статического контента, я бы использовал wget для загрузки всех страниц (игнорируя изображения)

wget -r -np -R gif,jpg,png http://www.example.com

, а затем используйте текстовый поиск для подозрительной ссылки на результат. Если ваши веб-сайты более сложные, httrack может быть проще настроить для загрузки только текста.

Answer 2

То, что вы хотите, это приложение «паук».Я использую паука в ' Burp Suite ' , но есть ряд бесплатных, дешевых и дорогих.

Хорошая вещь о Burp - вы можете получить егосделать паук всего сайта, а затем посмотреть на каждой странице, что вы хотите, будь то что-то, чтобы соответствовать регулярному выражению или динамический контент и т. д.