<403> Ответ по URL-адресу API Python Scrapy / Запрос - PullRequest
Новая
       305

<403> Ответ по URL-адресу API Python Scrapy / Запрос

3 голосов
/ 07 августа 2020

Я делал запрос к следующему API URL, но получил ответ <403>.

Щелкните здесь, чтобы открыть ссылку API

Ссылка работает нормально при открытии в браузере. Я открыл ответ scrapy в браузере и увидел, что он показывает капчу. Как я могу обойти капчу и сделать запрос, как настоящий человек, с помощью scrapy или запроса? 

# -*- coding: utf-8 -*-
import scrapy
import json

class MainSpider(scrapy.Spider):
    name = 'main'
    start_urls = ['https://www.mediamarkt.de/api/v1/graphql?operationName=CategoryV3&variables={%22hasMarketplace%22%3Atrue%2C%22wcsId%22%3A%22459521%22%2C%22page%22%3A1%2C%22experiment%22%3A%22mp%22}&extensions={%22pwa%22%3A{%22salesLine%22%3A%22Media%22%2C%22country%22%3A%22DE%22%2C%22language%22%3A%22de%22}%2C%22persistedQuery%22%3A{%22version%22%3A1%2C%22sha256Hash%22%3A%2211d83e8b68f9a2a73adc1cf50dd17b1dffcc99dc9636285bfc42088860610b05%22}}']

    def parse(self, response):
        resp = json.loads(response.body)
        values = resp.get('data').get('products')

        print(values)

введите описание изображения здесь

...