Недостаточно Sitemap - PullRequest
       22

Недостаточно Sitemap

0 голосов
/ 04 декабря 2018

Я использую concrete5 в качестве CMS для своего сайта.Я получил сообщение от консоли поиска Google, в котором говорилось: «Когда мы проверили образец URL-адресов из вашего файла Sitemap, мы обнаружили, что файл robots.txt сайта блокирует доступ к некоторым URL-адресам. Если вы не собираетесь блокировать некоторые из нихиз URL-адресов, содержащихся в файле Sitemap, воспользуйтесь нашим инструментом анализа robots.txt, чтобы убедиться, что URL-адреса, отправленные вами в файл Sitemap, доступны для робота Googlebot. Все доступные URL-адреса по-прежнему будут отправлены. "когда я исследовал свою карту сайта, мой сайт domain / sitemap.xml, я обнаружил, что все это содержит ссылки администратора, а не URL-адреса страниц сайта для пользователя.Я создаю новую карту сайта из автоматизированных заданий и очищаю кеш, но проблема все еще существует.Я использую cdn для генерации URL, могу ли я что-нибудь сделать, чтобы решить эту проблему?

1 Ответ

0 голосов
/ 04 декабря 2018

То, что вы описываете, действительно странно.Во-первых, Concrete5 не создает файл robots.txt.Однако он добавляет метатег робота с noindex на страницы, используя соответствующий атрибут.Установка по умолчанию также поставляется с файлом robots.txt, который запрещает определенные папки внутри папки «apps», так что не имеет никакого отношения к страницам.

Наконец, задание создания карты сайта исключает все системные страницы и все страницы панели мониторинга изКарта сайта.

Не могли бы вы поделиться некоторыми строками из вашей карты сайта, которые указывают на страницы администратора, чтобы увидеть, что происходит?

...