Скрапид против хрона + git крючков

Question

У меня есть проект с около 30 пауками, все запланировано с помощью задания cron. Всякий раз, когда я хочу развернуть проект I git pu sh в производство, где хук установит файлы на место.

Теперь я сталкиваюсь с scrapyd, который, кажется, делает оба в более удручающем виде, например, скребок и развертывание его в производственной среде. Глядя на код, кажется, что этот проект остановился около 3 лет go. Мне интересно, есть ли преимущество в переходе на scrapyd и почему этот код настолько стар и больше не разрабатывается. С другой стороны, Scrapy получает регулярные обновления.

Вы бы посоветовали использовать scrapyd, и если да, то почему?

Answer 1

Я использую scrapyd около 2 лет, и я предпочитаю использовать его вместо запуска ваших заданий, используя scrapy crawl:

• Вы можете установить количество скреперов, которые могут работать в то же время, используя `max_proc_per_cpu. Любые скребки, которые вы запускаете при достижении максимума, помещаются в очередь и запускаются при наличии места.
• У вас есть минимальный c GUI, в котором вы можете проверять очереди и читать журналы. .
• Планирование пауков легко выполняется с помощью API-вызовов. То же самое для перечисления пауков, отмены пауков, ...
• Вы можете использовать кеш http, даже если запущено несколько пауков одновременно
• Вы можете развернуть на нескольких серверах одновременно, если хотите распределите свои обходы по разным серверам