В последние несколько недель Google сообщал об ошибке в поисковой консоли.Все больше и больше моих страниц не могут сканироваться - отчет о покрытии говорит: отправленный URL заблокирован robots.txt.
Как вы видите, мой robots.txt очень прост, поэтому примерно на 20% моих страниц возникает эта ошибка, я теряюсь из-за ..
User-agent: * Disallow: /cgi-bin/ Allow: / Sitemap: https://www.theartstory.org/sitemapindex.xml Host: https://www.theartstory.org
Примеры страниц, которые показываютошибка:
https://www.theartstory.org/movement-fauvism-artworks.htm
https://www.theartstory.org/artist-hassam-childe-life-and-legacy.htm
Ваш файл robots.txt неправильно настроен.Вам нужно только:
User-agent: * Crawl-delay: 40 Disallow: /cgi-bin/ Sitemap: https://www.theartstory.org/sitemapindex.xml
Отправьте это для вашего robots.txt и повторите попытку сканирования.