Чтобы дать контекст вашему вопросу, вы должны понимать, что Scrapy не является инструментом для прямых запросов.Scrapy - это платформа для сканирования веб-сайтов , которая работает как проект самостоятельно.
Я полагаю, вы думаете, что response = HtmlResponse(url = 'http://asite.com', ...) может быть способом "загрузки" информации с этого конкретного сайта,но это не правдаScrapy предназначен для работы определенным образом и в определенном порядке, указанном здесь .Запросы и ответы не предназначены для самостоятельного использования в Scrapy, так как он имеет свой собственный планировщик, в который вы сбрасываете Request объектов и получаете обратно Response объектов.
Объекты Response не предназначены длябыть созданным непосредственно (фактически я никогда не создавал единственного Response в моей жизни), поскольку они создаются планировщиком Scrapy как "ответ" ранее определенного Request.
Хейнг сказал, чтоВы, конечно, можете по-прежнему создавать экземпляр Response, как и любой другой class в Python, и на самом деле он полезен, но в основном для целей тестирования , но не более того, поскольку он является только "бесполезным"представление о том, что должно прийти из планировщика Scrapy.