Как исправить ответ 403 в Scrapy

Question

http://prntscr.com/o56670

Пожалуйста, проверьте скриншот

Я использую python 3 и использую scrapy в своем терминале.

получить ( "https://angel.co/adil-wali")

Когда запрашивается ссылка, она отвечает 403.

поэтому я изменил и повернул пользовательский агент, и роботы подчиняются ложному, но все еще показывают ответ 403, поэтому на этот раз я покупаю план crawlera, но crawlera все еще говорит 523 ответа

Есть ли у вас какие-либо идеи о том, почему запрос возвращает 403 вместо 200 ответа в scrapy shell

Answer 1

Попробуйте добавить заголовки к вашему запросу:

fetch(
    "https://angel.co/adil-wali", 
    headers={
        "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3",
        "accept-language": "en-US,en;q=0.9,ru-RU;q=0.8,ru;q=0.7",
        "cache-control": "no-cache",
        "pragma": "no-cache",
        "upgrade-insecure-requests": "1"
    }
)

При таком подходе я смог получить Ответ 200 по указанному URL.