Как я могу отслеживать клики исходящих ссылок без отслеживания ботов?

Question

У меня есть несколько мыслей по этому поводу, но я вижу проблемы с обоими. Мне не нужны 100% точные данные. 80% -ое решение, которое позволяет мне обобщать наиболее популярные домены, на которые я направляю пользователей, вполне подойдет.

Вариант 1 - Использовать PHP. Передайте ссылки через файл track.php, который гарантирует, что ссылающаяся страница принадлежит моему домену, прежде чем отслеживать клик. Затем эта страница направляет пользователя к окончательному заданному URL. Очевидно, что боты могут подделать это. Много ли? Я также мог бы проверить пользовательский агент. Опять же, я ЗНАЮ, что многие боты подделывают это.

Вариант 2 - Использовать JavaScript. Выполните функцию JavaScript при нажатии, которая записывает щелчок в базу данных и затем направляет пользователя к окончательному URL.

Оба эти метода чувствуют, что могут вызывать проблемы со сканерами по моим исходящим ссылкам. Какой метод отслеживания исходящих кликов наиболее эффективен?

Answer 1

Ну, Google Analytics и Piwik используют для этого Javascript.

Поскольку боты не могут использовать JS, у вас будут только люди. С другой стороны, люди тоже могут отключить JS (но искренне, это редко бывает)

Facebook, Deviantart, WLM и т. Д. Используют серверный скрипт для отслеживания. Я не знаю, как они фильтруют ботов, но хороший robots.txt с одним или двумя фильтрами, и этого должно быть достаточно, чтобы получить 80%.

Answer 2

Самый эффективный метод для отслеживания исходящих ссылок (он используется в Facebook, Twitter и почти во всех поисковых системах) - это файл типа "track.php".

Обнаружение ботов можно рассматривать как отдельную проблему, и методы достаточно хорошо охвачены этими вопросами: http://duckduckgo.com/?q=how+to+detect+http+bots+site%3Astackoverflow.com Но простой поиск строки "bot" в User-Agent, вероятно, приблизит вас к ваши 80% * (и просмотр хитов до /robots.txt, в зависимости от типа бота, с которым вы имеете дело, дают вам 95% *).

*: полуобразованное предположение, основанное на нулевых конкретных данных