Можно ли принудительно войти в систему в зависимости от IP-адреса?

Question

Я пытаюсь удержать ботов от просмотра моих страниц. Поэтому я хочу принудительно войти в систему со всех IP-адресов, которые не входят в топ-4 поисковых систем. Возможно ли это?

Answer 1

Рассматривали ли вы использование файла robots.txt , чтобы минимизировать нежелательный трафик от автоматизированных инструментов паутинга?

Вы можете иметь несколько строк Disallow для каждого пользовательского агента (т. Е. Для каждого паука). Вот пример более длинного файла robots.txt:

User-agent: *
Disallow: /images/
Disallow: /cgi-bin/

User-agent: Googlebot-Image
Disallow: / 

Вот пример, который запрещает все , кроме google

User-agent: *
Disallow: /

User-agent: Googlebot
allow: / 

Слово предупреждения: Этот метод не гарантирует прекращения доступа запрещенных агентов к вашему сайту, он просто запрашивает их стандартным способом, понятным большинству этих инструментов.

Answer 2

если вы хотите принудительный вход для всех, кроме 4 ведущих поисковых систем, вы можете попросить войти у всех, кроме 4 лучших поисковых систем, или автоматически войти в систему

Answer 3

Да. Вы можете принудительно войти в систему для всех ваших страниц, за исключением нескольких IP-адресов. Это зависит от того, какой веб-сервер вы используете и какой тип контроля доступа разрешен?