Scrapy spider - процесс планирования, такой как rq worker

Question

Мне нужно запланировать пауков-скраперов в разных часовых поясах. Раньше я использовал rq worker для сценария python, он не поддерживает scrapy spider.

Любезно любой может предложить идею запланировать scrapy spider

Answer 1

TwistedScheduler из APScheduler может обрабатывать планирование Scrapy, а также поддерживает часовые пояса.

Здесь - пример, который использует APScheduler для планирования Скрап-пауки. Вам придется отредактировать вызов метода add_job(), чтобы он соответствовал вашим требованиям c, поэтому добавьте к нему параметр timezone, измените триггер с interval на date или cron и т.д. c. См. официальную документацию APSchedulers для всех доступных параметров.