Как скрыть непрерывный рейтинг попаданий (Обновить) на веб-сайт - PullRequest
0 голосов
/ 12 июня 2018

Я разработал код Python (Запросы) и Java для сбора данных с Веб-сайта.И он будет работать, постоянно обновляя веб-сайт для новых данных.
Но веб-сайт недавно идентифицировал мой скребок как автоматизированный сервис, и моя учетная запись была заблокирована.Есть ли способ скрыть это обновление, чтобы получить новые данные без блокировки учетной записи?

1 Ответ

0 голосов
/ 14 июня 2018

Это зависит от того, на каком веб-сайте он находится, в любом случае скребок имитирует поведение пользователя, которое все равно будет заблокировано.
Если веб-сайт обнаруживает синхронизированные задачи, решение может состоять в том, чтобы рандомизировать время обновления вашего приложения.
Если на веб-сайте будет представлен код с кодом, у вас нет простого решения
Если веб-сайт просто считает посещение с определенного IP-адреса, вы можете настроить динамический прокси-сервер для имитации запросов с других IP-адресов

...