Как я могу очистить список заданий Scrapy?

Question

Как я могу очистить список заданий Scrapy?Когда я запускаю любого паука, у меня много заданий с определенным пауком, и я знаю, как я могу убить их всех?После прочтения документации я сделал следующий код, который запускаю в цикле:

cd = os.system('curl http://localhost:6800/schedule.json -d project=default -d spider=google > kill_job.text')
file = open('kill_job.text', 'r')
a = ast.literal_eval(file.read())
kill='curl http://localhost:6800/cancel.json -d project=default -d job={}'.format(a['jobid'])
pprint(kill)

cd = os.system(kill)

, но похоже, что он не работает.Как я могу убить все задания, потому что, даже если я закончил процесс очистки вручную при следующем запуске, все задания возвращаются.Найдите это https://github.com/DormyMo/SpiderKeeper для управления проектами.Кто-нибудь знает, как включить существующий проект?

Answer 1

Итак, я не знаю, что не так с моим первым примером, но я исправил проблему с этим:

cd = os.system('curl http://localhost:6800/listjobs.json?project=projectname > kill_job.text')
file = open('kill_job.text', 'r')
a = ast.literal_eval(file.read())
b = a.values()
c = b[3]
for i in c:
    kill = 'curl http://localhost:6800/cancel.json -d project=projectname -d job={}'.format(i['id'])
    os.system(kill)