Я пытаюсь найти способ собрать информацию со страницы Сельскохозяйственные средства выращивания на Alibaba. Я пытаюсь очистить информацию product_name, название компании, min_order, company_name и URL_of_product_image. всех продуктов.
Я хочу получить информацию об одном продукте в одном ряду и продолжить поиск до последней ссылки на страницы.
Код
# -*- coding: utf-8 -*-
import scrapy
class AliBaba(scrapy.Spider):
name = ""
allowed_domains = ["alibaba.com"]
start_urls = ['https://www.alibaba.com/catalog/agricultural-growing-media_cid144?spm=a2700.9161164.1.2.57f04e02izIzZ1']
def parse(self, response):
for products in response.css('div.item-main'):
item = {
'product_name': products.xpath('//h2/a/@title').extract_first(),
'price': products.xpath('//div[@class="price"]/b/text()').extract_first().stripe(),
'min_order': products.xpath('//div[@class="min-order"]/b/text()').extract_first(),
'company_name':products.xpath('//div[@class="min-order"]/b/text()').extract_first(),
#'url_of_product_image': (What's the query for url)
}
yield item
# Code follow pagination link
# What should I do to follow the pegination link?
Вот картинка, которая может дать ясное видение:
