Извлекать данные, которые были очищены scrapyd в сценарии python? - PullRequest
Новая
       109

Извлекать данные, которые были очищены scrapyd в сценарии python?

0 голосов
/ 25 февраля 2020

Я развернул свой проект scrapy на scrapyd. Я могу запустить задание из сценария python, используя curl запрос: 

import os

os.system('curl http://server1.herokuapp.com/schedule.json -d project=ProjectName -d spider=SpiderName')

После выполнения запроса jobid был напечатан в терминале (687a4f7c57d111ea9e6e3ab2d75239d3), и данные соскоба появились на
http://server1.herokuapp.com/items/ProjectName/SpiderName/687a4f7c57d111ea9e6e3ab2d75239d3.jl (поддельный URL).
.jl файл с данными имеет имя задания. Но как я могу получить jobid внутри скрипта для получения очищенных данных?
Данные также не отображаются в моей папке scrapy ProjectName / spiders (я использую sqlalchemy).

...