Проверьте сайт на наличие файлов моего сайта

Question

Существует ли программа, которая сканирует указанный веб-сайт и будет выплевывать, если есть ссылка на другой веб-сайт? У меня есть изображения, видео файлы, PDF и т. Д. что я должен дать другому разработчику, чтобы завершить перенос на новый сервер.

Я только что передал старый сайт другому человеку, и он все еще использует мои файлы. Я не знаю, все ли файлы были на 100%, и я хочу быть уверенным, какие файлы мне нужно дать им. Было бы неплохо иметь что-то вроде linkchecker, который может сканировать, и если есть ссылка на корень сайта (например, sub.domain.com), то он будет выдавать информацию о нем (какая страница, какой URL). 1003 *

Я не хочу на этом этапе блокировать использование файлов, чтобы его не было.

Я на Mac, поэтому любая терминальная программа будет в порядке.

Answer 1

Вы можете попробовать Sitesucker , который можно использовать для загрузки всех файлов, используемых на сайте (и любых, на которые он ссылается в зависимости от настроек). Это OSX (и iPhone) для пожертвований, так что это может быть именно то, что вы ищете. Я считаю, что он создает файл журнала загружаемых файлов, поэтому вы можете отправить его, если вы просто хотите отправить URL-адрес своему коллеге вместо реальных файлов.

Answer 2

Вы можете проверить wget.Он может рекурсивно (-r опция) загрузить веб-сайт и сохранить его содержимое на жестком диске.Обычно (то есть, если не указано иное) загружает все в каталоги, названные как хост.

Но будьте осторожны, чтобы не загружать весь интернет рекурсивно;) Поэтому убедитесь, что вы указали правильные параметры --domains или --exclude-domains.