Как запретить поисковым системам индексировать мой сайт в MediaWiki?

Question

Существует ли надежный способ ограничить индексирование вашего контента основными поисковыми системами? Спасибо Пради

Answer 1

Один возможный путь, это Robots.txt файл.

User-Agent: *
Disallow: / 

Здесь - это запись в блоге, в которой обсуждаются другие методы, включая метатеги.

Answer 2

Большинство поисковых систем следуют robots.txt.Я слышал Yahoo Slurp!не делает.

Вы можете отсканировать пользовательский агент на наличие известных ботов, таких как Google, Yahoo, Bing, Internet Archive и т. д., и получить пустой вывод.Вы будете оштрафованы за предоставление альтернативного контента Google, но поскольку вы блокируете его, это не будет проблемой.

Самое важное, что вы публикуете, может публично, и к ним будут обращаться такие боты, как:пауки поисковых систем.

Не забывайте, что у ботов есть неприятная привычка находиться там, где вы не хотите, чтобы они были (в сочетании с плохой практикой кодирования это может привести к катастрофическим последствиям).1010 *

Answer 3

Дурак?Думаю, нет.Вы можете ограничить IP-адреса, использовать Robots.txt, метатеги, но если поисковая система действительно действительно хочет проиндексировать ваш контент, она найдет способ.