Я новичок в python. Написал scrapy spider и столкнулся с проблемой, когда url + элементы на странице нужно добавить к go на следующую страницу.
Мне нужно, чтобы функция, указанная ниже, выполнялась итерацией, а значение переменной pageoffset добавлялось самому себе после каждой итерации. Или любое предложение.
Как в C#: pageoffset = pageoffset + len (data ['filterItems']), но невозможно в python.
def parse(self, response):
data = json.loads(response.text)
itemcount = data['resultCount']
for item in data['filteredItems']:
yield{
'Description' : item['availableColors'][0]['productCode'],
}
pageoffset = len(data['filteredItems'])
if pageoffset < itemcount:
yield scrapy.Request(url=response.url + pageoffset, callback=self.parse)