Как сделать несколько периодов Scrapy Spiders c и Dynami c?

Question

У меня есть несколько пауков Scrapy, которые могут сканировать новости из некоторых газет. Но в настоящее время я запускаю их вручную с помощью этой команды -

scrapy crawl SpiderName

Я сканирую новости из 20 различных газет. У меня есть 20 различных классов пауков, чтобы выполнить эту работу. Поэтому мне нужно выполнить эту команду 20 раз, когда я хочу сканировать последние новости. Я хочу, чтобы это было автоматизировано c. Я хочу написать сценарий, который может непрерывно сканировать все эти газеты после определенного периода времени. Я пытался сделать это, используя бесконечное время l oop. Но это не сработало. Есть ли другой стандартный способ сделать это?

Answer 1

Этого можно добиться с помощью scrapy-do

1.install

pip install scrapy-do

2.schedule

  scrapy-do-cl schedule-job --project quotesbot \
        --spider toscrape-css --when 'every 5 to 15 minutes'