Али express .com Scrapy Crawler localStorage.x5referer - PullRequest
0 голосов
/ 05 января 2020

Мне нужно сканировать ali express данные результатов поиска, относящиеся к моим ключевым словам для поиска.

Ниже моего примера кода Scrapy. Я получил скрипт localStorage.x5referer в файле журнала. Может быть, мне нужно разобраться с некоторыми поварами ie.

# -*- coding: utf-8 -*-
import scrapy

class AliexpresSpider(scrapy.Spider):
    name = 'aliexpres'
    allowed_domains = ['aliexpress.com']
    start_urls = ['https://tr.aliexpress.com/af/sehpa.html?SearchText=sehpa']



    def parse(self,response):
        print(response.text)
        # srplists = response.css('ul.list-items')
        # for item in srplists.css('li.list-item'):
        #      title = item.css('div.item-title-wrap::text').get()
        #      price = item.css('div.item-price-wrap > span.price-big-sale::text').get()
        #      url = item.css('a ::attr(href)').get()
        #      yield {'title':title,'price':price,'url':url}

1 Ответ

0 голосов
/ 31 января 2020

Какие-нибудь находки на топи c? У меня там была такая же проблема.

...