Запретить динамические c страниц в файле Robots.txt - PullRequest
0 голосов
/ 07 мая 2020

Я искал ответ, но не могу его найти.

У меня следующая структура

http://mysite-com/universities/UNIVERSITY_ID/review

I Я пытаюсь запретить страницу обзора, но сохраните страницу UNIVERSITY_ID, которая является динамической c.

как я могу выполнить sh это в robots.txt?

будет ли это работать : Disallow / University / * / review

спасибо

1 Ответ

0 голосов
/ 06 июля 2020

Использование подстановочного знака - лучшее решение для решения этой проблемы.

User-agent: *
disallow: /*review$

ссылка: https://webmasters.stackexchange.com/questions/72722/can-we-use-regex-in-robots-txt-file-to-block-urls

...