У меня есть scrapy 2.0.1 паук, работающий хорошо на моей локальной машине, и я хотел развернуть его на scrapyd 1.2.1 сервере, работающем на CentOS 8.x машине с Python 3.7.6 настройкой в выделенном вентиляторе под названием scrap .
На этой машине я также установил scrapyd-client 1.2.0a1 в отдельном вентиляторе под названием scrapy-deploy
Я скопировал свой проект scrapy на сервер и смог развернуть его в сервисе scrapyd без ошибок, воспроизведение с scrapyd-deploy
fatal: <...names not found nothing to describe...la-la-la>.
Packing version r66-<my_git_branch>
Deploying to project "<my_project>" in http://127.0.0.1:<my_port>/addversion.json
Server response (200):
{"node_name": "<my_box_name>", "status": "ok", "project": "<my_project_name>", "version": "r66-<my_git_branch>", "spiders": 1}
Однако, когда я пытаюсь запланировать запуск паука, задание запускается, а затем немедленно завершается. Там нет сообщений об ошибках - ни в журнале работы, ни в журнале паука, ни в /var/log/messages, все сообщения, как будто это был успешный запуск, а затем обычное окончание sh менее чем за секунду ...
Я также заметил, что в журналах нет сообщений INFO: Overridden settings:..., как у меня на локальной машине - похоже, по какой-то причине scrapyd не может найти и разобрать правильные settings.py
Буду признателен Ваша помощь очень много. Спасибо.