Это хорошо, чтобы получить доступ к атрибутам паука в конвейере Scrapy? - PullRequest
Новая
       37

Это хорошо, чтобы получить доступ к атрибутам паука в конвейере Scrapy?

0 голосов
/ 05 июля 2019

В scrapy pipe документ говорит, что одним из параметров функции 'process_item' является паук

process_item (self, item, spider) Параметры: item (Объект Item илиdict) - предмет, очищенный пауком (объект Spider) - паук, который очистил элемент

Я хочу отправить список одного типа «элемента» в конвейер, но после многих копаний в Интернете вселибо сдача, либо возврат предмета в конвейер по одному за раз.

SamplerSpider.py 

 class SamplerSpider(scrapy.Spider):
        name = 'SamplerSpider'
        allowed_domains = ['xxx.com']
        start_urls = (CONSTANTS.URL)
        result = []

pipe.py 

class SamplerSpiderPipeline(object):
    def __init__(self):
       // do something here

    def process_item(self, item, spider):
        // do something with spider.result

Это хороший способ сделать это?Если нет, то почему?

Извлечение информации из документа всегда приводит к более чем одному элементу.Почему скребковый конвейер предназначен для обработки элемента по одному за раз?

заранее спасибо.

...