Как обнаружить автоматические агенты, которые копируют содержимое моего сайта?

Question

Я заметил, что некоторые сайты управляют контентом одного из сайтов моего клиента с помощью автоматических агентов.Я хочу обнаруживать их запросы и показывать им код безопасности, чтобы они не копировали содержимое сайта.

Есть ли вообще их обнаружить?

Answer 1

Это сложная задача и игра в кошки-мышки.Чтобы сделать это немного сложнее:

1. Запретите IP-адреса, которые постоянно посещают сайт, обычному пользователю не понадобятся ВСЕ страницы
2. Запретите публичные прокси, список доступен на googleing
3. Любой запрос от забаненных IP / прокси должен быть перенаправлен на страницу с защитой

Answer 2

Как правило, «автоматический агент» будет получать доступ к большому количеству данных за короткий период ... больше, чем обычный пользователь. Вам нужно будет настроить что-то, чтобы отслеживать IP-адреса всех пользователей и видеть, есть ли такой ip, который выделяется и блокирует их.

Конечно, это усложняется, так как есть прокси и динамические ips и т.д ...