Как я могу повторно запустить объект запроса scrapy в Python?

Question

Я использую Scrapy, и в функции response_is_ban у меня есть два объекта: объект {Request} и объект {Response}.

from scrapy.http import Request

По какой-то причине Запрос Scrapy возвращает результаты, отличные от стандартного Curl.

Есть ли способ, которым я могу перезапустить объект {Request}?

Что-то вроде:

response = request.get_again()

Цель состоит в том, чтобы выяснить, в чем конкретно заключается различие между моей функцией Curl и объектом запроса Scrapy, и почему они будут возвращать разные результаты. Любые предложения будут приветствоваться.

Редактировать: у меня есть еще один вопрос: где в коде Scrapy фактически обрабатывает запрос? Есть ли где-нибудь функция request.get (), в которой я мог бы поставить точку отладки?

Answer 1

Для отладки вы можете использовать fetch из scrapy.shell сессии: https://docs.scrapy.org/en/latest/topics/shell.html#invoking-the-shell-from-spiders-to-inspect-responses