Как использовать запросы Python с scrapy?

Question

Я пытаюсь использовать requests для извлечения страницы и передачи объекта ответа парсеру, но я столкнулся с проблемой:

def start_requests(self):
    yield self.parse(requests.get(url))
def parse(self, response):
  #pass

builtins.AttributeError: у объекта 'generator' нет атрибута 'dont_filter'

Answer 1

Сначала необходимо загрузить resopnse страницы, а затем преобразовать эту строку в объект HtmlResponse

from scrapy.http import HtmlResponse
resp = requests.get(url)

response = HtmlResponse(url="", body=resp.text, encoding='utf-8')