Скрыть / путь от поисковых систем, кроме / path / that-i-want-indexed - PullRequest
0 голосов
/ 09 января 2020

В нашем файле robots.txt есть что-то вроде

User-agent: *
Disallow: /v6.0
Disallow: /v5.8
Disallow: /v5.7
Disallow: /v5.5
Disallow: /v5.1
Disallow: /v5.0

, которое должным образом не позволяет поисковым системам сканировать любой из наших URL с префиксами /v6.0, /v5.8 et c ... Однако в этих запрещенных URL-адресах есть определенные страницы, которые мы хотим индексировать, например /v6.0/i-want-this-page-indexable

Возможно ли сделать такую ​​вещь? Если так, какой будет соответствующий синтаксис?

...