Почему Google не индексирует мой "robots.txt"? - PullRequest
Новая
       62

Почему Google не индексирует мой "robots.txt"?

0 голосов
/ 05 октября 2018

Я пытаюсь разрешить роботу-роботу Googlebot индексировать мой сайт.Мой robots.txt изначально выглядел так: 

User-agent: * 
Disallow: / 
Host: www.sitename.com 
Sitemap: https://www.sitename.com/sitemap.xml

И я изменил его на: 

User-agent: * 
Allow: / 
Host: www.sitename.com 
Sitemap: https://www.sitename.com/sitemap.xml

Только Google все еще не индексирует мои ссылки.

Ответы [ 2 ]

0 голосов
/ 08 октября 2018

Я пытаюсь разрешить веб-сканеру Googlebot индексировать мой сайт.

  1. Правила роботов не имеют отношения к индексации! ОниТОЛЬКО о способности к ползанию.Страницу можно проиндексировать, даже если она запрещена для сканирования!

  2. host директива поддерживается только Яндексом.

  3. Если вы хотите, чтобы все боты могли сканировать ваш сайт, ваш файл robots.txt должен быть помещен в https://www.sitename.com/robots.txt,, доступен с кодом состояния 200 и содержать:

    User-agent: * Disallow: Sitemap: https://www.sitename.com/sitemap.xml

0 голосов
/ 08 октября 2018

Из документов :

Синтаксис Robots.txt можно рассматривать как «язык» файлов robots.txt.Есть пять общих терминов, с которыми вы, вероятно, сталкиваетесь в файле роботов.Они включают в себя:

User-agent: определенный веб-сканер, которому вы даете инструкции сканирования (обычно это поисковая система).Список большинства пользовательских агентов можно найти здесь.

Disallow: команда, используемая для того, чтобы пользовательский агент не сканировал определенный URL.Для каждого URL допускается только одна строка «Disallow:».

Разрешить (применимо только для робота Googlebot): команда, сообщающая роботу Google, что он может получить доступ к странице или подпапке, даже если ее родительская страница или подпапка могут быть запрещены.

Задержка сканирования: сколько секунд сканер должен ждать перед загрузкой и сканированием содержимого страницы.Обратите внимание, что робот Googlebot не подтверждает эту команду, но скорость сканирования можно установить в консоли поиска Google.

Карта сайта. Используется для вызова местоположения любых карт сайта XML, связанных с этим URL-адресом.Обратите внимание, что эта команда поддерживается только Google, Ask, Bing и Yahoo.

Попробуйте специально упомянуть Googlebot в ваших директивах robots.txt, таких как: 

User-agent: Googlebot 
Allow: /

или разрешить всем веб-сканерам доступ ко всему контенту 

User-agent: * 
Disallow:
...