Кто-нибудь знает какой-либо доступный код для паука на сайте, отслеживания переходов, перенаправлений, типа перенаправлений и т. Д.?
Или, надеюсь, бесплатный инструмент?
Причина, по которой я пытаюсь это сделать, заключается в том, чтобы очистить сайт, на страницах которого скопилось несколько переадресаций.
Я гуглил и гуглил безрезультатно .. Я нашел инструменты, которые проверяли бы страницу, только если вы предоставили ссылки ... но не инструмент "паук" ..
спасибо