Есть ли способ запустить Скрапид во время работы колбы на Heroku?

Question

Я новичок в Scrapy и Scrapyd и экспериментирую с ними.

Я развернул простое приложение Flask с Gunicorn, у которого есть конечная точка API, которая отправляет вызов scrapyd для планирования паука.

Локально я должен запустить scrapyd в отдельном терминале, чтобы прослушивать звонки с конечной точки Flask, но как можно сделать то же самое на Heroku? Я имею в виду возможность обрабатывать запросы к конечной точке Flask и одновременно прослушивать вызовы от Flask к scrapyd.

Любая помощь высоко ценится. Спасибо!

Answer 1

Вы можете использовать конечную точку scrapyd для планирования паука из внешнего интерфейса фляги, который отправляет http-запрос в scrapyd, и для проверки того, завершены ли задания, вы можете вызвать запущенные задания, если в выполняемых заданиях существует идентификатор задания, или нет. Также может быть лучший способ сделать это, вы можете вернуть сигнал после завершения сканирования.