как сканировать 403 запрещенных SNS - PullRequest
0 голосов
/ 06 сентября 2010

Я сканирую SNS с гусеничным движком, написанным на python

это работает долгое время, но несколько дней назад веб-страницы, полученные от моих серверов, были ОШИБКА 403 ЗАПРЕЩЕНА.

Я пытался изменить cookie, изменить браузер, изменить учетную запись, но все не удалось.

и кажется, что запрещенные серверы находятся в одном сегменте сети.

что я могу сделать? украсть чужой ip? = = ...

большое

1 Ответ

1 голос
/ 06 сентября 2010

Похоже, вы попали в черный список на уровне маршрутизатора в этой подсети, возможно, из-за того, что вы (или кто-то еще в подсети) нарушали условия использования, robots.txt, максимальная частота сканирования, как указано в карте сайта,или что-то в этом роде.

Решение не техническое, а социальное: свяжитесь с веб-мастером, проявите должное извинение, узнайте, что именно вы (или один из ваших партнеров) сделали неправильно, убедительно пообещайте никогда больше этого не делать, еще раз извиняюсь, пока они не удалили черный список.Если вы можете указать этому веб-мастеру причину , почему они должны разрешить вам сканировать этот сайт (например, при сканировании используется поисковая система, которая будет приносить им трафик, или что-то в этом роде), тем лучше!-)

...