Yoast SEO, как разрешить гусеничный бот - PullRequest
0 голосов
/ 29 ноября 2018

Я получил работу, чтобы избавиться от "Нет информации для этой страницы" на веб-сайте.Веб-сайт использует Yoast SEO, но он был отключен, поэтому я включил его, и затем я получил базовый файл robots.txt, подобный этому

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Я применил эти настройки около шести часов назад, пытался найти его вGoogle, и до сих пор ничего не изменилось.Я чувствую беспокойство сейчас.Этого достаточно для сканеров, чтобы прочитать сайт?Я что-то пропустил?Нужно ли связываться с .htaccess?У меня ноль опыта в SEO, поэтому любая помощь будет очень признательна.

1 Ответ

0 голосов
/ 29 ноября 2018

скопируйте и вставьте его в свой robot.txt

User-agent: Googlebot
Disallow: 
User-agent: googlebot-image
Disallow: 
User-agent: googlebot-mobile
Disallow: 
User-agent: MSNBot
Disallow: 
User-agent: Slurp
Disallow: 
User-agent: Teoma
Disallow: 
User-agent: Gigabot
Disallow: 
User-agent: Robozilla
Disallow: 
User-agent: Nutch
Disallow: 
User-agent: ia_archiver
Disallow: 
User-agent: baiduspider
Disallow: 
User-agent: naverbot
Disallow: 
User-agent: yeti
Disallow: 
User-agent: yahoo-mmcrawler
Disallow: 
User-agent: psbot
Disallow: 
User-agent: yahoo-blogs/v3.9
Disallow: 
User-agent: *
Disallow: 
Sitemap: https://www.yoursitename.com/sitemap.xml
...