Как найти все не связанные сайты веб-страницы? - PullRequest
0 голосов
/ 26 мая 2018

Есть ли способ найти все дочерние сайты сайта?Даже те, на которые не ссылается этот сайт.

Например: у меня есть сайт www.foofoo.de , у этого сайта есть 3 дочерних сайта - www.foofoo.de /лошадь , www.foofoo.de / собака , www.foofoo.de / мышь .Сайт www.foofoo.de имеет ссылки на / horse и / dog , но не на / mouse.Однако я все еще могу посетить сайт www.foofoo.de / mouse , если я специально напишу этот адрес в свой веб-браузер.

Есть ли способ, я могу найти этот сайт, если я не знаю, полный ли он адресПросто www.foofoo.de ?

Спасибо

1 Ответ

0 голосов
/ 26 мая 2018

Вы можете попытаться выяснить, есть ли у него карта сайта.Либо он установлен как общедоступный и видимый пользователям на www.foofoo.de/sitemap, либо в виде файла на веб-сервере, доступном для таких ботов, как Google, например www.foofoo.de/sitemap.xml

Но владелец может решить, какие сайты они хотят перечислить на карте сайта.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...