Какой хороший способ защитить базу данных ссылок от автоматических скребков? - PullRequest
0 голосов
/ 01 сентября 2009

У меня есть большая база данных ссылок, которую я хотел бы защитить от других, которые захотят скопировать их. Могу ли я что-то сделать, кроме как заставить людей вводить CAPTCHA перед каждой ссылкой?

Ответы [ 2 ]

2 голосов
/ 01 сентября 2009

вы можете вывести ссылки, используя ROT13, а затем использовать javascript, чтобы вернуть их в нормальное состояние. таким образом, скребки должны поддерживать JavaScript, чтобы украсть ваши ссылки, что должно сократить количество приемлемых скребков

бонусных балла: замените ROT13 на что-то более сложное и запутайте свой javascript для «декодирования».

1 голос
/ 01 сентября 2009

Предложение javascript может сработать, но вы сделаете вашу страницу недоступной для тех, кто использует вспомогательные технологии, такие как программы чтения с экрана, а также для всех, кто не имеет JavaScript.

Другой возможный вариант - генерировать криптографический одноразовый номер . Этот метод в настоящее время используется для защиты от CSRF-атак, но также может быть использован для того, чтобы скребок должен был запросить страницу с вашего сайта, прежде чем получить доступ к ссылке. Этот подход может не подходить, если вы поддерживаете хотлинкинг, но если вы просто хотите убедиться, что кто-то первым зашел на ваш сайт, он может сработать.

Еще один вариант гетто - использовать рефереры. Их можно легко подделать, но это может помешать некоторым из более тупых скребков. Это также требует, чтобы вы знали, откуда пришли ваши пользователи, прежде чем попасть на ваш сайт.

Можете ли вы сообщить нам, если вы используете хотлинкинг или пользователь заходит на ваш сайт, прежде чем перейти по защищенной ссылке? Мы могли бы дать лучший совет таким образом.

...