Я хочу, чтобы сканирующий веб-сайт использовал Scrapy и Scrapyrt для публикации данных (HTTP-запрос). Я уже получаю почтовые данные, но не могу получить ответ от Scrapy. Данные ниже:
это почтовые данные
{
"request": {
"url": "http://test.com/",
"meta": {
"query":"motherboard%20Gigabyte%20H61"
}
},
"spider_name": "lazada"
}
это код
class LazadaSpider(scrapy.Spider):
name = "lazada"
def modify_realtime_request(self, request):
queryPost = request.meta["query"]
url = 'https://www.lazada.co.id/catalog/?page=1&sort=priceasc&q=%s' % queryPost
return SplashRequest(url, self.parse,
args=splash_args,
endpoint='https://www.lazada.co.id'
)
def parse(self, response):
items = LazadaItem()
SET_SELECTOR = '.c2prKC'
if len(response.css(SET_SELECTOR)) > 0:
allData = []
i=0
for datas in response.css(SET_SELECTOR):
NAME_SELECTOR = '//div[@class="c16H9d"]/a/text()'
# IMAGE_SELECTOR = '//div[@class="cRjKsc"]/a/img/@src'
IMAGE_SELECTOR = '//img[@class="c1ZEkM "]/@src'
LINK_SELECTOR = '//div[@class="cRjKsc"]/a/@href'
HARGA_SELECTOR = '//div[@class="c3gUW0"]/span/text()'
items["product_name"] = datas.xpath(NAME_SELECTOR)[i].extract()
items["product_image"] = datas.xpath(IMAGE_SELECTOR)[i].extract()
items["product_link"] = datas.xpath(LINK_SELECTOR)[i].extract()
items["product_harga"] = datas.xpath(HARGA_SELECTOR)[i].extract()
yield items
i = i +1
if i is 5:
break
else:
print("masuk sini")
Может кто-нибудь поможет мне?