Я отправляю почтовый запрос с помощью скрапа, данные ответа «слишком часто», но я отправляю этот же запрос почтальоном, ответ на этот вопрос я хочу

Question

** Это мой код моего скрапа. Я также отправляю тот же запрос почтальону. Независимо от того, отправляю ли я его в любое время, я могу получить данные, которые я хочу. Но я отправляю это с помощью скрапа, я получаю данные. «Слишком часто, запретите посещение». Возможно, причин будет много. .Но я хочу знать, каковы возможные причины. **

'

 class TestSpider(scrapy.Spider):
    name = 'test'
    allowed_domains = ['www.lagou.com']
    start_urls = ['https://www.lagou.com/jobs/positionAjax.json?px=default&city=%E5%8C%97%E4%BA%AC&needAddtionalResult=false']

    def start_requests(self):
        yield FormRequest(
            self.start_urls[0],
            callback=self.parse,
        )

    def parse(self,response):
        print(response.text)

'

Answer 1

Вам нужно показать веб-сайту, что вы являетесь действительным пользователем, а не ботом

попробуйте отправить агента пользователя в шапку

yield FormRequest(
            url=self.start_urls[0],
            callback=self.parse,
            headers={ 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.122 Safari/537.36',}
        )