Различия CrawlerProcess и scrapy ползут в командной строке в scrapy?

Question

case 1: scrapy crawl somespider введите несколько раз (одновременно, используя фон nohup)

вариант 2: использование CrawlerProcess, настройка мультиспайдера в скрипте Python и запуск

что такое разные случаи? я уже пробовал case2, используя 5 пауков, но не так быстро.

Answer 1

scrapy crawl использует один процесс для каждого паука, в то время как CrawlerProcess использует один Twisted Reactor на один процесс (в то же время делает некоторые вещи под капотом, что я не уверен) для запуска нескольких пауков одновременно.

Итак, в основном:

1. scrapy crawl -> более одного процесса
2. CrawlerProcess -> запускает только один процесс с витой реактором