Запуск пауков из отдельного скрипта Python

Question

Мне было интересно, как лучше всего запустить пауков из другого скрипта на python.Мой скрап-проект состоит из 4 разных пауков, все они создают файлы, которые помогают другим паукам работать, и некоторым из них приходится читать некоторые файлы, чтобы работать.Эта часть уже выполнена, но по отдельности (запуск пауков отдельно от консоли).

Как я могу, например, сделать что-то подобное

if (productToSearchIsBlue):

    #Make one spider crawl

else:

    #Make another spider crawl

Мой окончательный план - загрузитьполная программа в облаке и запускать ее автоматически, можно ли это сделать?

Я нашел несколько ответов на этот вопрос, но они были довольно стары, вероятно, для другой версии scrapy.

Answer 1

Предполагая, что все остальное настроено правильно, вот тривиальный пример согласно документации .

from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings


process = CrawlerProcess(get_project_settings())

productToSearchIsBlue = False

if productToSearchIsBlue:
    # Make one spider crawl
    process.crawl('spider-one')
else:
    # Make another spider crawl
    process.crawl('spider-two')

process.start()

Затем вы можете запустить это на облачном сервере.Но я не могу ответить, является ли это оптимальным решением проблемы, которую вы пытаетесь решить.