Мои css селекторы response.css('div.jhfizC') и ('a[itemprop="url"]') показывают 97 элементов на веб-странице, но мой код очищает только 35 элементов. В чем ошибка?
Вот мой код:
import scrapy
class EbayfootSpider(scrapy.Spider):
name = 'exebay'
start_urls = ['https://www.mercari.com/search/?brandIds=4578&categoryIds=724&facets=2&length=30']
def parse(self, response):
big_div = response.css('div.jhfizC')
for all_div in big_div:
item_url = all_div.css('a[itemprop="url"]').css('::attr(href)')[0].extract()
if item_url is not None:
print(item_url)