Я изучаю Scrapy-Redis, у меня есть несколько пауков в одном проекте Scrapy-Redis. Как я могу управлять всеми пауками и останавливать их? И разумно использовать несколько пауков в одном проекте, чтобы каждый паук мог поделитьсянастройка?
Мой код такой
from scrapy_redis.spiders import RedisSpider
from scrapy.crawler import CrawlerProcess
class MySpider1(RedisSpider):
...
class MySpider2(RedisSpider):
...
process = CrawlerProcess()
process.crawl(MySpider1)
process.crawl(MySpider2)
process.start()
Мне нужно нажать start_url для каждого паука, это неудобно. Есть ли какой-нибудь умный способ управлять им?