Значение от метода разбора до конвейера - PullRequest
0 голосов
/ 17 июня 2019

У меня есть следующий конвейер и простой паук, есть ли способ получить file_name от метода разбора spider на конвейер?

import csv,datetime
class AaexampleSpider(object):
    def __init__(self, file_name):
        now = datetime.datetime.now()
        self.current_date = now.strftime("%d%b")
        self.file_name = file_name #file_name
        self.infile = open("{}_{}.csv".format(self.current_date, self.file_name),"w")
        self.dict_writer = csv.DictWriter(self.infile, fieldnames=["Hello"])
        self.dict_writer.writeheader()
    def process_item(self, item, spider):
        self.dict_writer.writerow(item)

def close_spider(self, spider):
    self.infile.close()

код паука:

import scrapy

class ExampleSpider(scrapy.Spider):
    name = 'example'
    allowed_domains = ['example.com']
    start_urls = ['http://example.com/']
    def parse(self, response):
        file_name = response.xpath('//div/h1/text()').extract_first()
        #code

если это невозможно, как я могу использовать другого паука для передачи значения в конвейер?Я запускаю код, используя scrapy crawl example в терминале

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...