Как запретить сканерам переходить по ссылкам?

Question

Я создаю сайт, который позволит продавцам:

• перечислять свои продукты на моем сайте
• иметь ссылку на каждый продукт обратно на сайт продавца
• взимать плату за каждую нажатую ссылку

Что мне нужно сделать сейчас, так это каким-то образом убедиться, что я регистрирую только реальных пользователей, следующих по ссылкам на сайт продавцов.Если это робот, просматривающий сайт, я не должен брать с продавцов плату за это.

Можно ли мне сказать, что боты не следуют по определенной ссылке?Я не думаю, что это nofollow, поскольку это не предназначено для блокировки доступа к контенту.

Answer 1

Чтобы предупредить бота не переходить по ссылке, нужно добавить rel = nofollow к вашему тегу .Предполагая, что вы также ведете локальный вход перед отправкой на внешний URL, вы также можете проверить строку агента пользователя.

На самом деле, если вы собираетесь просить людей платить в зависимости от количества рефералов, возможно, вам стоитрегистрируйте IP-адрес и пользовательский агент против каждого заплаченного за клик в случае, если ваша статистика когда-либо подвергается сомнению.

Answer 2

Вы просто добавляете файл [ robots.txt ], например, как этот .

Более подробную информацию о файлах [robots.txt] можно найти насеть, например в Википедии .

Приветствия & hth.,

Answer 3

Обычно вы можете идентифицировать их по строке агента пользователя. Вы можете найти список здесь, не могу сказать, что он совершенен, но это хорошая база для расширения: PHP / MySQL - фильтр массива для ботов

Robots.txt - это еще один способ, подробнее об этом здесь