Инициировать склеивание после пакетного задания aws - PullRequest
Новая
       85

Инициировать склеивание после пакетного задания aws

0 голосов
/ 30 марта 2020

Я пытаюсь добавить службу сканирования в scrapyd, поэтому я добавил scrapyrt.json службу к scrapyd.cfg, которая теперь выглядит следующим образом; 

[services]
schedule.json     = scrapyd.webservice.Schedule
cancel.json       = scrapyd.webservice.Cancel
addversion.json   = scrapyd.webservice.AddVersion
listprojects.json = scrapyd.webservice.ListProjects
listversions.json = scrapyd.webservice.ListVersions
listspiders.json  = scrapyd.webservice.ListSpiders
delproject.json   = scrapyd.webservice.DeleteProject
delversion.json   = scrapyd.webservice.DeleteVersion
listjobs.json     = scrapyd.webservice.ListJobs
daemonstatus.json = scrapyd.webservice.DaemonStatus
scrapyrt.json =  scrapyrt.resources.CrawlResource

Я надеюсь, что смогу вызвать scrapyrt (https://github.com/scrapinghub/scrapyrt) как услугу скрапида. Однако, когда я пытаюсь запустить его, проект, загруженный в scrapyd, не загружается в scrapyrt, у вас есть идея, как обернуть класс CrawlRessource, чтобы сделать его совместимым со службами scrapy.

Также, если у вас есть другая альтернатива, чтобы запустить scrapy и scrapyd рядом друг с другом, что будет очень интересно для меня

...