как найти все URL / страницы на mysite.com

Question

У меня есть веб-сайт, который я сейчас поддерживаю, и мне нужно перечислить все живые страницы / URL. есть ли сканер, который я могу использовать, чтобы указать на мою домашнюю страницу и получить список всех найденных страниц / URL.

тогда я могу удалить любые, которые не попадают в этот список, поскольку они будут бесхозными страницами / URL, которые никогда не были очищены?

Я использую DNN и хочу уничтожить ненужные страницы.

Answer 1

В старые времена я использовал wget для этой конкретной цели, используя рекурсивные функции поиска. Возможно, это не самый эффективный способ, но он определенно был эффективным. Конечно, YMMV, поскольку некоторые сайты будут возвращать много больше контента, чем другие.

Answer 2

Поскольку вы используете управляемую базой данных CMS, вы сможете сделать это либо через интерфейс администратора DNN, либо просматривая непосредственно базу данных.Гораздо надежнее, чем гусеничный.