Остановка сканирования Google моего сайта

Question

Google начал сканировать мой сайт, но с временного домена (beta.mydomain вместо просто mydomain), а также я хочу, чтобы он сканировал только некоторые из моих страниц.Поэтому я хочу прекратить их сканирование и разрешить им сканировать только те страницы, которые я указал в карте сайта.Как я могу это сделать?(Я знаю, как добавить карту сайта, но как я могу остановить их текущее сканирование и запросить, чтобы они сканировали только карту сайта)

Обновление: если я убью поддомен beta.mydomain - это будет "хорошо""они или они продолжат просматривать все убитые страницы и" не нравятся "им?Могу ли я указать это в заголовке каждой страницы?

Answer 1

Создайте в корневом каталоге вашего сайта один текстовый файл с именем robots.txt. Внутри ...

User-agent: *
Disallow: /thisfolder/
Disallow: /foo.html
Disallow: /andthisfoldertoo/
Disallow: /andthisfile.html

Я использую это для файлов проекта. На самом деле, когда я пишу это, я думаю, что я изменю способ работы над проектами и всегда помещу их в подкаталог с именем / projects / project1 /, так что одна строка сделает ...

Disallow: /projects/

И я также добавляю строку для своих файлов изображений. Мне не нравятся мои изображения в Интернете ...

Disallow: /imgs/

Answer 2

Вы можете начать с файла robots.txt.

См. Информацию Google здесь

Я полагаю, что вы уже смотрели на инструменты для веб-мастеров и карты сайтов с того, что вы говорите?Имейте в виду, что хотя карта сайта и сообщает Google ЧТО сканировать, она не очень хорошо скажет им, что НЕ нужно сканировать.

Для этого вам понадобится использовать файл robots.txt для блокировкиопределенные страницы / папки.

Answer 3

Используйте robots.txt, см. этот сайт .