Остановите Паук Scrapy, Бегущий в Работе Cron

Question

У меня есть Паук Scrapy, которого я наметил как Cron Job.Я использую опцию -o, чтобы записать мои данные в CSV-файл.

scrapy crawl my_spider -o my_csv.csv

Я использую Crawlera, но у меня нет запросов.Я пытаюсь отключить моего паука и записать вывод в csv.Scrapy еще не записала вывод в csv, и я беспокоюсь, что если я убью процесс, данные будут потеряны.

Есть ли способ изящно отключить паука, работающего как задание cron, без необходимости ждать завершения сканирования?

Answer 1

Прежде всего, я боюсь, что ваш скребок не работал вообще, иначе вы бы увидели некоторые данные в выходной CSV, потому что scrapy записывает данные одновременно в CSV, а не когда процесс очистки завершается.

В любом случае, если он запущен, пожалуйста, прочтите ниже.

Запустите ps -aux | grep scrapy и найдите PID процесса очистки

Просто отправьте kill PID только ОДИН РАЗ, и он будет корректно отключен

ПРИМЕЧАНИЕ:

Не отправляйте kill PID более одного раза, в противном случае ваш процесс будет убит без выполнения оставшихся запросов