Расширение Scrapy Pause и Resume Extension для большего контроля в python - PullRequest
3 голосов
/ 26 сентября 2019

Это просто, пауза и возобновление работают только нажатием ctrl + C

Что мне нужно для достижения, это возобновить работу, даже если сервер / система падает или процесс останавливается

Моя идея состоит в том, чтобы расширить встроенное расширение pause-resume и сохранять все запланированные запросы и запросы в очереди каждые несколько минут, чтобы в любой момент программа сбоя или уничтожения не стоила потери всех обработанных запросов.текущая партия.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...