Чтобы избежать дублирования контента на CDN моего сайта, я создал отдельные файлы robots.txt для моего домена .www и для моего домена .cdn.
.www robots.txt запрещает только каталоги / cgi-bin / и / tmp / и разрешает все остальное.
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Файл .cdn robots.txt запрещает все, кроме тех ресурсов, которые он обслуживает, а именно изображения (все расширения), css и javascript.
User-agent: *
Allow: /*.jpg$
Allow: /*.JPG$
Allow: /*.jpeg$
Allow: /*.JPEG$
Allow: /*.jpg?*$
Allow: /*.JPG?*$
Allow: /*.jpeg?*$
Allow: /*.JPEG?*$
Allow: /*.gif$
Allow: /*.GIF$
Allow: /*.gif?*$
Allow: /*.GIF?*$
Allow: /*.png$
Allow: /*.PNG$
Allow: /*.png?*$
Allow: /*.PNG?*$
Allow: /*.css$
Allow: /*.CSS$
Allow: /*.css?*$
Allow: /*.CSS?*$
Allow: /*.js$
Allow: /*.JS$
Allow: /*.js?*$
Allow: /*.JS?*$
Disallow: /
Перед настройкой этих отдельных файлов robots.txt файл robots.txt CDN может был неправильно настроен. Таким образом, изменение.
Однако в консоли поиска по-прежнему отображается сообщение о том, что на моем сайте есть ресурсы, заблокированные файлом robots.txt CDN.
Здесь приведены примеры страниц, которые, по-видимому, заблокировали ресурсы. Но когда я проверяю любой из этих примеров и проверяю его с помощью robots.txt Tester, он показывает, что ресурс разрешен файлом robots.txt CDN.
Это продолжалось в течение недели или около того, и каждый день, кажется, все больше "заблокированных" ресурсов, которые я вижу после проверки с помощью robots.txt Tester, фактически не блокируются.
Это тот случай, когда Google увидит, что эти ресурсы на самом деле не заблокированы? Если да, то почему количество «заблокированных» ресурсов увеличивается, еще долго после того, как я внес изменения?