Scrapyd: Нет активного проекта - Как запланировать пауков с помощью scrapyd - PullRequest
0 голосов
/ 05 мая 2020

Я пытаюсь запланировать scrapy 2.1.0 spider с помощью scrapyd 1.2

 curl --insecure http://localhost:6800/schedule.json -d project=bid -d spider=test

Теоретически это должно начать сканирование для теста паука в рамках заявки на проект. Вместо этого он выводит сообщение об ошибке:

 {"node_name": "spider1", "status": "error", "message": "Scrapy 2.1.0 - no active project\n\nUnknown command: list\n\nUse \"scrapy\" to see available commands\n"}

Если я cd в каталог проекта, там будет проект с несколькими пауками, который я могу запустить с помощью «cd / var / spiders / && scrapy crawl test &».

Однако, находясь в другой папке, я также получил бы сообщение «нет активных проектов»:

/var$ scrapy list
Scrapy 2.1.0 - no active project

Unknown command: list

Use "scrapy" to see available commands

Это похоже на ту же информацию, которую я получаю от scrapyd, поэтому я подозреваю, что мне нужно чтобы каким-то образом настроить рабочий каталог, в котором находятся мои проекты.

Scrapyd запущен, и я могу получить доступ к консоли через Интернет «gui».

Каков правильный подход для запуска задания через scrapyd?

1 Ответ

1 голос
/ 05 мая 2020

Прежде чем вы сможете запустить своего паука с помощью scrapyd, вам нужно сначала развернуть своего паука. Вы можете сделать это:

...