Scrapy возвращая 302 для какой-то сети

Question

Я получаю 302 при использовании скрапа в какой-то конкретной сети. Он работает в моей офисной сети, но не в моей домашней сети. Он работает в одной моей мобильной сети, но не работает (набирает 302) в другой мобильной сети. Ребята, вы знаете, почему это происходит?

Answer 1

Не зная, какой конкретный URL-адрес делает это, я могу только догадываться, что те IP-адреса, которые получают 302, могли быть помечены программным решением против ботов и перенаправлены на какую-то CAPTCHA.

Попробуйте , используя Splash , посмотрите, совпадают ли результаты.