Когда я пишу Scrapy Framework, я сталкиваюсь с веб-сайтом, на котором необходимо войти в систему. Я хочу запросить значение cookie в промежуточном программном обеспечении, чтобы сканер мог определить, должен ли он войти в систему и получить значение cookie.по значению статуса ответа.
Я пытался написать код входа в process_response
в промежуточном программном обеспечении, чтобы получить cookie после входа в систему.
middleware.py
def process_response(self, request, response, spider):
print(response) #但是这里不输出
if len(response.body)<200:
cks= self.get_cookies()
request.headers['Cookie']=cks
return request
else:
return response
items.py
class EsasentinelmissionItem(scrapy.Item):
# define the fields for your item here like:
url = scrapy.Field()#下载链接
spider.py
def parse(self,response):
item=EsasentinelmissionItem()
for url in urls:
item['url']=url
yield scrapy.Request(item)
Я хочу знать, как доставить печеньеинтеллект в скрапе.