Веб-сайт Spidering Автоопределение

Question

Можно ли написать код для обнаружения, если веб-сайт spidering контента?

Answer 1

хороший паук

• читает файл robots.txt
• имеет правильный пользовательский агент
• будет запрашивать быстрее, чем средний пользователь

Но я думаю, что точное определение, если это браузер или паук, невозможно.

Answer 2

Если паук хорош, вы можете обнаружить его через его пользовательский агент, используя список существующих пользовательских агентов, таких как this . Но хороший веб-паук обычно также следует robots.txt соглашение

Роботы, которые игнорируют файл robots.txt и подделывают свой пользовательский агент, скорее всего, также используют другие средства, чтобы скрыть, что они являются пауками.

Answer 3

Вы можете использовать список строк User-Agent, которые используются обычными ботами. Вы можете использовать некоторую форму определения скорости и определить, что очень высокой частотой запросов, вероятно, будет паук (или кто-то выкрадывает весь ваш сайт).

Также могут быть списки IP-адресов, используемых обычными ботами, но надежная система обнаружения, скорее всего, невозможна.

Вы можете создать на своих страницах ссылку, на которую настоящий посетитель никогда не нажмет, и пометить любого, кто переходит по ссылке, как паука. Некоторые люди все равно нажмут на ссылку, но любопытства не избежать.

Answer 4

Вы пытаетесь использовать строку агента пользователя для идентификации ботов.

Кажется, что разные боты имеют разные строки агента пользователя:

http://www.useragentstring.com/pages/useragentstring.php

Однако строка пользовательского агента может быть легко подделана.