robots.txt для блога wordpress (запретить / blog / page / ... но разрешить сканировать там ссылки на все сообщения?)

Question

У меня очень наивный вопрос, я не могу найти ответ.У меня есть WordPress блог.Все сообщения перечислены на нескольких страницах, например,

mydomain.com/blog/
mydomain.com/blog/page/2/
...
mydomain.com/blog/page/N/

, поэтому я не хочу, чтобы сканер "помнил", что было на конкретной странице, но хочу, чтобы он сканировал все сообщения, связанные на каждой "/ страницу/ ", сможет ли он переходить по ссылкам и сканировать ссылки на страницах, которые я запрещаю

disallow: /blog/page/ ?

Или как запретить сканирование записей на определенной странице, но разрешить сканирование всех сообщений?

Answer 1

Вы не можете сделать это с robots.txt. Пример строки Disallow скажет сканеру: «Никогда не запрашивайте URL, начинающийся с /blog/page/.

Что вы, вероятно, хотите сделать, это добавить метатег robots"noindex" ко всем вашим / page / страницам. Это говорит Google: «Не индексируйте эти страницы», но позволяет боту сканировать их и получать ссылки на отдельные записи в блоге.