Я рекурсивно очищаю несколько целых сайтов с помощью Python Scrapy. Я хотел бы приостановить мой паук каждый х полный веб-сайты на слом. К сожалению, но, очевидно, если я сделаю это с помощью инкремента, есть вероятность, что некоторые потоки будут продолжаться. Итак, вот мой вопрос: можем ли мы остановить запросы и подождать, пока веб-сайты, которые еще сканируются, не завершат работу?
Спасибо,