а) в зависимости от сложности вашего сайта и от того, насколько динамичен контент, вы можете скачать любого паука и ограничить его своим веб-сайтом и проверить результаты («набор отрыжки» содержит довольно хорошего паука и в целом является инструментом, который каждыйдолжен знать).
b) после того, как паук выполнил свою работу, проверьте время доступа ко всем файлам в вашем каталоге wevsites, любой файл, имеющий время доступа старше, чем время выполнения паука, вероятно, является сиротой.
(оба решения будут менее эффективными на веб-сайте, использующем пользовательский ввод для ссылки на страницы)