Использование мета запроса в Scrapy передает аргументы в другом порядке

Question

Я пытаюсь почистить данные со страницы, на которой есть список товаров, я в настоящее время получаю все ссылки и очищаю детали, но проблема в том, что производитель / марка товара есть только на странице со списком, нет на странице товара. Я попытался использовать метаданные запроса для обратного вызова, но данные производителя передаются неупорядоченными, в результате чего в строках отображается неверный производитель.

Это пример страницы: https://www.toolmania.cl/sierras-sable-561

Это код сейчас:

    def parse(self, response):
    """Process toolmania.cl products"""
    # define product url xpath
    XPATH_PRODUCT_LINK = "//a[@class='thumbnail product-thumbnail']/@href"
    products = response.xpath(XPATH_PRODUCT_LINK).extract()
    XPATH_PRODUCT_BRAND = ".//h4[@class='product-manufacturer']/text()"

    for product in products:
        # obtain product brand
        brand = response.xpath(XPATH_PRODUCT_BRAND).get()
        #url = product
        yield scrapy.Request(product, callback=self.parse_product, meta={'brand': brand})

    # follow pagination link
    XPATH_NEXT_PAGE = "//li[@class='page-item directional js-search-link']//a[@rel='next']/@href"
    next_page = response.xpath(XPATH_NEXT_PAGE).get()
    if next_page:
        yield scrapy.Request(url=next_page, callback=self.parse)

def parse_product(self, response):
    """Get details from single product"""
    XPATH_SINGLE_PRODUCT = "//div[@class='single-product']"

    for product in response.xpath(XPATH_SINGLE_PRODUCT):
        # define xpaths for product details
        XPATH_PRODUCT_MODEL = ".//h5[@class='product-reference-single']/text()"
        XPATH_PRODUCT_NAME = ".//h1[@class='product-name-single mb-md-4']/text()"
        XPATH_PRODUCT_PRICE = ".//div[@class='product-prices margin__bottom__20']//span[@itemprop='price']/@content"

        product_model = product.xpath(XPATH_PRODUCT_MODEL).get()
        # clean product model
        product_model = re.sub('Código de referencia: ', '', product_model)

        yield {
            'product_brand': response.meta['brand'],
            'product_model': product_model,
            'product_price': product.xpath(XPATH_PRODUCT_PRICE).extract(),
            'product_name': product.xpath(XPATH_PRODUCT_NAME).extract(),
            'product_link': response.url,
        }

Answer 1

используйте product вместо response в следующем l oop, а также увидите, что я использую css вместо xpath

def parse(self, response):
    """Process toolmania.cl products"""
    products = response.css('div.product-list')

    for product in products:
        # use "product" instead of "response"
        brand = product.css('.product-manufacturer::text').get()
        url = product.css(".thumbnail::attr(href)").get()
        yield scrapy.Request(product, callback=self.parse_product, meta={'brand': brand})