Я хочу сканировать элементы с этой страницы Shopee .На сайте используется javascript, поэтому мне пришлось использовать Splash для отображения страницы перед получением элементов.На странице 50 записей, но Scrapy возвращает только 15. Кто-нибудь знает причину и решение этой проблемы?Я прикрепил свой код ниже
import scrapy
из scrapy_splash import SplashRequest
класс ShopeeSpider (scrapy.Spider): name = 'shopee'
start_urls = [
"https://shopee.vn/Trang-diem-da-cat.160.1913",
]
def start_requests(self):
for url in self.start_urls:
yield SplashRequest(url=url, callback=self.parse, args={'wait': 10, })
def parse(self, response):
product_links = response.xpath('//div[@class="col-xs-2-4 shopee-search-item-result__item"]/a/@href').extract()
print(len(product_links))