Я не знаю, почему проекты, созданные Portia, не работают.
$ scrapyd-deploy -p Test
Пауки не развертывают
{"status": "ok", "project": "Test", "version": "1580255071", "spiders": 0, "node_name": "7f4967535546"}
Я попробовал это: https://github.com/scrapy/quotesbot
Все нормально.
Мой docker -компонентный файл
version: '3'
services:
app:
build: ./portia
volumes:
- ./data/projects:/app/data/projects:rw
- ./scripts:/app/data/scripts
ports:
- 9001:9001
restart: always
networks:
- scrapy
scrapyd:
build: ./scrapyd
ports:
- 6800:6800
environment:
- USERNAME=scrap
- PASSWORD=test1234
- PACKAGES=simplejson,requests,redis,elasticsearch,certifi
networks:
- scrapy
networks:
scrapy:
. / Portia / Dockerfile
FROM scrapinghub/portia:latest
WORKDIR /app/data/projects
RUN pip install scrapyd-client
. / Scrapyd / Dockerfile
FROM cdrx/scrapyd-authenticated
RUN pip install --upgrade pip
RUN pip install --upgrade scrapy
Кто-нибудь может мне помочь?