Googlebot будет индексировать мой сайт? - PullRequest
3 голосов
/ 08 апреля 2009

в моем файле robots.txt, у меня есть следующая строка

Пользователь-агент: Googlebot-Mobile Disallow: /

User-агент: GoogleBot Disallow: /

Карта сайта: http://mydomain.com/sitemapindex.xml

Я знаю, что если я поставлю первые 4 строки, googlebot не будет индексировать сайты, но что если я поставлю последнюю строку Sitemap: http://mydomain.com/sitemapindex.xml,, сможет ли googlebot проиндексировать сайт?

Спасибо

Ответы [ 3 ]

4 голосов
/ 08 апреля 2009

Я протестировал ваш robots.txt на своем собственном домене (в котором есть запись карты сайта для каждой страницы), и Googlebot и Googlebot-Mobile вернули, что у них нет доступа.

Исходя из этого - я бы сказал, что файл robots.txt имеет приоритет над любыми картами сайта.

Плюс, логично говоря - если вы заблокируете весь домен, боту будет запрещен доступ к карте сайта. Запись карты сайта просто сообщает сканерам, где найти карту сайта, а не об их праве доступа к ней.

Даже если вы разрешите карту сайта, я не думаю, что боты будут сканировать ваш сайт - карты сайта предназначены для того, чтобы сообщать боту, как часто сканировать ваш сайт, а не тому, что им разрешено сканировать.

2 голосов
/ 08 апреля 2009

Нет, я не думаю, что Google сделает это. На самом деле это вопрос хорошего бота и плохого бота. Даже если вы добавите файл robots.txt, чтобы ограничить некоторые области, боты все равно могут сканировать. На самом деле вопрос «да» или «нет» robots.txt похож на предупреждение, а не на стену безопасности.

1 голос
/ 06 октября 2010

googlebot даже не сможет дотронуться до sitemapindex.xml

  • robots.txt - это директива для сканера.
  • sitemap.xml выбирается через сканер googlebot.
  • googlebot не будет иметь доступа к сайтуmapindex.xml
  • нет покрытия для сканирования, нет индексации, нет выдачи SERP

Вы можете проверить это с помощью инструмента проверки Google Webmaster Tools robots.txt и получить функцию googlebot (в разделе лабораторных работ).

...