Как заставить поисковые системы использовать мой обновленный файл robots.txt? - PullRequest
Новая
       18

Как заставить поисковые системы использовать мой обновленный файл robots.txt?

2 голосов
/ 24 марта 2019

Раньше я блокировал роботов поисковых систем, чтобы предотвратить сканирование моего веб-сайта с помощью файла robots.txt, но теперь я хочу разблокировать их.

Я обновил файл robots.txt и позволил роботам поисковых систем сканировать мой веб-сайт, но, похоже, поисковые системы все еще используют мой старый файл robots.txt. Как я могу сказать поисковым системам использовать мой новый файл robots.txt ? или что-то не так в моем файле robots.txt?

Содержимое моего старого файла robots.txt: 

User-agent: *
Disallow: /

Содержимое моего нового файла robots.txt: 

User-agent: *
Allow: /

# Disallow these directories, url types & file-types
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-
Disallow: /cgi-bin
Disallow: /readme.html
Disallow: /license.txt
Disallow: /*?*
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /*/wp-*
Disallow: /*/feed/*
Disallow: /*/*?s=*
Disallow: /*/*.js$
Disallow: /*/*.inc$

Allow: /wp-content/uploads/

User-agent: ia_archiver*
Disallow: /

User-agent: duggmirror
Disallow: /

Sitemap: https://example.com/sitemap.xml

1 Ответ

1 голос
/ 24 марта 2019

Будет необходимо сделать независимо для каждой поисковой системы, в противном случае это может произойти со временем.Для Google используйте инструмент Google Search Console.Это позволит вам загрузить новый файл robots.txt и отправить его на повторное сканирование.

...