Отфильтровать поисковый трафик ботов - PullRequest
1 голос
/ 16 июня 2010

Я занимаюсь отслеживанием пользовательских просмотров на своем веб-сайте и просто понимаю, что совершенно забыл о поисковых роботах, попадающих на страницы.Как отфильтровать этот трафик из отслеживания моего просмотра?

Ответы [ 2 ]

2 голосов
/ 16 июня 2010

Посмотрите на агентов пользователя. Может показаться логичным занести в черный список, то есть отфильтровать все строки, которые содержат «Googlebot» или других известных поисковых роботов, но их так много, что может быть проще всего просто внести в белый список: регистрировать посетителей с помощью известного браузера .

Другой подход заключается в использовании некоторого JavaScript для ведения реальной регистрации (как это делает Google Analytics). Боты не будут загружать JS и не будут учитываться в вашей статистике. Вы также можете сделать намного более подробную регистрацию таким образом, потому что вы можете точно видеть (вплоть до пикселя - если хотите), какие ссылки были нажаты.

0 голосов
/ 16 июня 2010

Вы можете проверить пользовательский агент: здесь есть хороший список.Или вы можете перепроверить хиты на robots.txt, так как все пауки должны сначала прочитать это, а пользователи обычно не читают.

...