Как запустить Scrapy с использованием метода post Scrapyrt? - PullRequest
0 голосов
/ 12 апреля 2020

Я хочу, чтобы сканирующий веб-сайт использовал Scrapy и Scrapyrt для публикации данных (HTTP-запрос). Я уже получаю почтовые данные, но не могу получить ответ от Scrapy. Данные ниже:

это почтовые данные

{
"request": {
"url": "http://test.com/",
"meta": {
    "query":"motherboard%20Gigabyte%20H61"
}
},
"spider_name": "lazada"
}

это код

class LazadaSpider(scrapy.Spider):
name = "lazada"

def modify_realtime_request(self, request):
    queryPost = request.meta["query"]
    url = 'https://www.lazada.co.id/catalog/?page=1&sort=priceasc&q=%s' % queryPost
    return SplashRequest(url, self.parse,
        args=splash_args,
        endpoint='https://www.lazada.co.id'
    )

def parse(self, response):
    items = LazadaItem()
    SET_SELECTOR = '.c2prKC'
    if len(response.css(SET_SELECTOR)) > 0:
        allData = []
        i=0
        for datas in response.css(SET_SELECTOR):
            NAME_SELECTOR = '//div[@class="c16H9d"]/a/text()'
            # IMAGE_SELECTOR = '//div[@class="cRjKsc"]/a/img/@src'
            IMAGE_SELECTOR = '//img[@class="c1ZEkM "]/@src' 
            LINK_SELECTOR = '//div[@class="cRjKsc"]/a/@href'
            HARGA_SELECTOR = '//div[@class="c3gUW0"]/span/text()'
            items["product_name"] = datas.xpath(NAME_SELECTOR)[i].extract()
            items["product_image"] = datas.xpath(IMAGE_SELECTOR)[i].extract()
            items["product_link"] = datas.xpath(LINK_SELECTOR)[i].extract()
            items["product_harga"] = datas.xpath(HARGA_SELECTOR)[i].extract()
            yield items
            i = i +1
            if i is 5:
                break   
    else:
        print("masuk sini")

Может кто-нибудь поможет мне?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...