Я настроил файл robots.txt, чтобы прекратить сканирование моего сайта в Google, так как он находится в стадии разработки:
# robots.txt
User-agent: *
Disallow: /
Но журнал указывает, что робот Googlebot посещает различные и случайные части моего сайта.Всего одна страница за раз.Почему они это делают и как я могу помешать им сделать это?
Выписка из журнала:
66.249.72.174 - - [07 / May / 2011: 08: 12: 11-0700] "GET /? Page = 2 & atype = new & filter = h HTTP / 1.1" 200 10156 - "Mozilla / 5.0 (совместимо; Googlebot / 2.1; + http://www.google.com/bot.html),gzip(gfe),gzip(gfe),gzip(gfe)"
Я хочу, чтобы Google сканировал мой сайтПросто пока нет.