Я хотел бы видеть список всех общедоступных ссылок на моем веб-сайте, чтобы я знал, к каким страницам имеет доступ пользователь. Есть ли веб-сайт или приложение, которое будет сканировать мой веб-сайт и отображать такую информацию?
Если ваш сайт уже подключен к сети, вы можете легко получить эту информацию, используя Google Webmaster Tools .Вы также можете просто поискать site:http://www.yoursite.com в Google, чтобы получить список страниц, которые были просканированы.
site:http://www.yoursite.com
Вы можете попробовать запустить рекурсивный wget (передав опцию -r):
wget -r http://www.example.com