Я пытаюсь распечатать статус 301 для запросов на удаление. Но страница перенаправляет и показывает 200 каждый раз

Question

Я пытаюсь распечатать статус 301 для запросов на удаление.Но страница перенаправляется, и я каждый раз получаю 200 кодов состояния.Я не хочу, чтобы перенаправление происходило, а просто напечатал код 301.Я новичок в Scrapy и не могу понять.

У меня есть следующий код: введите описание изображения здесь

Answer 1

Вы можете использовать атрибут meta в своем запросе и передать ключ: значение

• 'dont_redirect': 'Правда
• 'handle_httpstatus_list': [301]

---

class RedirectSpider(scrapy.Spider):
name = 'redirect'
url = 'http://www.wayfair.com/outdoor/sb0/fire-pits-c215964.html/'

def start_requests(self):
    yield scrapy.Request(
        url=self.url,
        meta={'dont_redirect': True, 'handle_httpstatus_list': [301]},
        callback=self.parse,
    )

def parse(self, response):
    print(response.status)