Замените .get()
на .extract()
в функции parse
, сейчас вы перебираете одну ссылку букву за буквой, но вам нужно просто извлечь все ссылки.
def parse(self, response):
links = response.xpath('//div[@class="ty-grid-list__item-name"]/a/@href').extract() # <- here
for link in links:
yield scrapy.Request(response.urljoin(link), self.parse_products)