Как запросить, чтобы определенные элементы страницы не были проиндексированы - PullRequest
0 голосов
/ 15 июля 2009

По сути, я хотел бы указать элемент, который будет игнорироваться поисковыми системами. Если я ссылаться на порнографию с академической точки зрения, я не хочу Google перечислить мой сайт под порно поисков, например, но хотел бы, чтобы проиндексировать остальную часть страницы.

Возможно ли это? Я уверен, что наткнулся на метод включения метаданных в html для достижения этой цели.

Я пытался найти это в Интернете, но безуспешно. Я не могу понять, эта страница , так как я не знаю, если это черновик спецификации, она не распознается роботами для сканирования.

1 Ответ

1 голос
/ 15 июля 2009

Использование файла robots.txt в корневом каталоге вашего сайта.

User-agent: *
Disallow: /myreference_dir/
Disallow: /myreference_dir/myarticle.html

Википедия

...