Scrapy + Splash не может очистить все элементы на странице - PullRequest
Новая
       6

Scrapy + Splash не может очистить все элементы на странице

0 голосов
/ 02 октября 2018

Я хочу сканировать элементы с этой страницы Shopee .На сайте используется javascript, поэтому мне пришлось использовать Splash для отображения страницы перед получением элементов.На странице 50 записей, но Scrapy возвращает только 15. Кто-нибудь знает причину и решение этой проблемы?Я прикрепил свой код ниже 

import scrapy

из scrapy_splash import SplashRequest

класс ShopeeSpider (scrapy.Spider): name = 'shopee' 

start_urls = [
              "https://shopee.vn/Trang-diem-da-cat.160.1913",
             ]

def start_requests(self):
    for url in self.start_urls:
        yield SplashRequest(url=url, callback=self.parse, args={'wait': 10, })

def parse(self, response):
    product_links = response.xpath('//div[@class="col-xs-2-4 shopee-search-item-result__item"]/a/@href').extract()
    print(len(product_links))
...