Как исключить сканирование некоторых страниц

Question

Я использую WordPress и через настройки администратора включите видимость поисковой системы, чтобы избежать сканирования страниц. И когда мы также проверяем источник страницы, появляется код типа

<meta name="robots" content="noindex,follow"/> 

Но Google все еще сканирует все мои страницы. Как это остановить. Мне нужно скрыть все пользовательские страницы, сканирующие страницы пользователя после входа в систему.

Answer 1

Ваш метатег должен выглядеть следующим образом

<meta name="robots" content="noindex,nofollow"/>

Также обновите robots.txt соответствующим образом. Скажем, вы не хотите, чтобы Google индексировал /posts/1, тогда ваш robots.txt будет

User-Agent: Googlebot
Disallow: /posts/1