Scrapy: одно задание на паука

Question

У меня есть Scrapy проект с несколькими пауками.Как я могу запустить всех пауков со своими jobdir?В следующем коде я показываю, как я выполняю всех пауков с одним jobdir.

from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings

settings = get_project_settings()
settings.set('JOBDIR', 'saved_crawl', priority='cmdline')


process = CrawlerProcess(settings)

process.crawl('spider1')
process.crawl('spider2')
process.start()

Answer 1

Хорошо, я обнаружил, что решение очень простое.Мне просто нужно определить JOBDIR в пользовательских настройках, для каждого паука:

class Spider1(scrapy.Spider):
    name = 'spider1'
    custom_settings = {'JOBDIR': 'crawl_spider1'}