Я хочу настроить крупномасштабную утилизацию. В настоящее время я использую scrapyrt api (https://scrapyrt.readthedocs.io/en/latest/api.html#), но я хотел бы запустить моих пауков асинхронно , чтобы мои сканирования могли увеличиваться. Я слышал, что scrapyd был предпочтительным инструментом для этого, однако я все еще хотел бы иметь возможность использовать scrapyrt для целей отладки. Можно ли запускать scrapyd и scrapyrt рядом друг с другом в одном контейнере Docker и вызывать их с собственным API.
Также при развертывании scrapyd на ecs мне хотелось бы, чтобы мой проект scrapyd развертывался на каждом экземпляре ecs, который я использую, вместо того, чтобы развертывать их вручную с помощью scrapyd-client каждый раз при создании нового экземпляра. Это что-то легко выполнимое с scrapyd .
Cheers