сканер scrapy вызывается через скрипт оболочки, который используется в качестве командной строки в записи crontab.Сценарий оболочки выглядит следующим образом:
scrapy crawl targethost.com
, когда время истекло и оно действительно выполнено, но кажется, что вызывается только конструктор (я проверил с помощью отладочной информации).Проблема решается путем переписывания сценария оболочки следующим образом:
scrap crawl targethost.com &> cronlog.log
Я просто не знаю, почему.