запретить доступ всех ботов к странице - PullRequest
1 голос
/ 21 июня 2011

В asp.net, c # web applciation, можно ли запретить ботам доступ к определенной странице?

Я хочу запретить всем ботам доступ к странице оплаты на моем сайте.

Ответы [ 3 ]

4 голосов
/ 21 июня 2011

Вам может понадобиться файл robot.txt на месте.Здесь вы можете найти больше информации о том, как его использовать: http://en.wikipedia.org/wiki/Robots_exclusion_standard

3 голосов
/ 21 июня 2011

Вы не можете.

Вы можете запросить , чтобы боты не посещали ваш сайт (см. Ответ Projapati для получения более подробной информации о том, как это сделать), или определенные каталоги,или определенные файлы;но это действительно просто просьба.Пока «Пользователь Joe Schmoe» может открывать браузер и видеть страницу;ничто не мешает кому-то автоматизировать это посещение.

Вы можете попытаться сделать что-нибудь, когда заблокируете определенные IP-адреса, которые, как вы знаете, используются различными ботами / сканерами;но это было бы проигрышным предложением.Вы никогда не могли бы с уверенностью сказать, что это был не бот, посещающий страницу.

Или вы можете изменить сайт так, чтобы только аутентифицированные пользователи могли получить доступ к этой конкретной странице и надеяться, что никто не справится с этой проблемой.настройки поддельной учетной записи для использования.

0 голосов
/ 19 августа 2011

Поместите файл с именем robots.txt в корневую папку вашего сайта и добавьте в него следующий код

User-Agent: *
Disallow: /paymentpage.php # change this to your payment page.

Вы также можете запретить конкретному боту, например, Google:

User-Agent: Googlebot
Disallow: /paymentpage.php # change this to your payment page.

Подробнее о robots.txt:

http://www.javascriptkit.com/howto/robots.shtml

...