Паук не найден в scrapyd.schedule - PullRequest
Новая
       9

Паук не найден в scrapyd.schedule

0 голосов
/ 27 июня 2018

я пытаюсь запустить Скрапид из Джанго Скрап-код выглядит так 

unique_id = str(uuid4()) # create a unique ID. 

settings = {
    'unique_id': unique_id, # unique ID for each record for DB
    'USER_AGENT': 'Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)'
}

task = scrapyd.schedule('scrap_lowongan','josbid', settings=settings)

Однако я получаю 

scrapyd_api.exceptions.ScrapydResponseError: spider 'josbid' not found

Моя структура папок выглядит примерно так 

Bitalisy>
     Bitalisy
     Scraping>
          views.py (Schedule scrapyd from here)
     scrap_lowongan> (scrapy Project)
         scrap_lowongan>
             spider>
                 jobsid.py
             settings.py
             pipelines.py
         scrapyd.conf
         scrapy.cfg

Обратите внимание, что я использую scrapyd.conf, потому что у меня есть два проекта scrapy. Scrapy.conf 

 [scrapyd]
 http_port   = 6801

Спасибо

1 Ответ

0 голосов
/ 27 июня 2018

Я обнаружил, что вы должны добавить: 

scrapyd = ScrapydAPI('http://localhost:6801')

И после перезапуска scrapyd работает как очарование Прочитайте больше документации здесь

...