Как мне использовать подстановочный знак, чтобы заблокировать ботов от индексации этого? - PullRequest
Новая
       57

Как мне использовать подстановочный знак, чтобы заблокировать ботов от индексации этого?

0 голосов
/ 15 декабря 2011

У меня следующий формат URL:

example.com/page/m6aoeh/embed

Я хочу заблокировать ботов от индексации любой страницы с помощью URL /page/*/embed

Я предполагаю, что есть какой-то способ сделать блокировку URL-адреса подстановочным знаком, но просто не уверен, как это сделать в данном конкретном случае.

1 Ответ

0 голосов
/ 15 декабря 2011

Если вы просто хотите указать ботам, что все в папке /page/ не должно индексироваться ботами, используйте стандарт исключения robots.txt *1003*.Создайте /robots.txt, который выглядит следующим образом: 

User-agent: *
Disallow: /page/

Если вы хотите, чтобы боты индексировали некоторые страницы в папке /page, но не другие, вам нужно добавить <meta>тег в <head> для каждой страницы, которую вы хотите исключить. 

<meta name="robots" content="noindex, nofollow" />
...