Я получаю запросы на некоторые каталоги в Google, Bing и т. Д., Которые я не хочу, чтобы мир видел. Как я могу предотвратить сканирование этих страниц / каталогов? Также как мне удалить предыдущие записи?
дружественные веб-сканеры (Google, Bing, Yahoo, Baidu и т. Д.) Будут уважать ваш robots.txt файл . Пример из очень полезного http://www.robotstxt.org/:
robots.txt
User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /junk/
Конечно, если вы на самом деле хотите ограничить свой личный контент, вам лучше будет использовать средства аутентификации и авторизации вашего веб-сервера или , ограничивающие доступ по адресу .
Большинство поисковых систем сначала проверяют файл robots.txt, прежде чем начать сканирование вашего сайта. Если вы не хотите сканировать определенные каталоги, создайте файл robots.txt в корневом каталоге и добавьте в него:
User-agent: * Disallow: /my_private_dir
Если вам нужен пример robots.txt файла, здесь - это стекопоток .