Scrapy долгое время для инициализации - PullRequest
0 голосов
/ 26 мая 2018

Недавно, когда я запускаю команду "scrapy crawl my_spider", требуется от 10 до 15 минут, чтобы запустить расширения, включить промежуточное программное обеспечение, конвейеры и т. Д., А затем начать сканирование.Раньше такого не было.Любая идея о том, что может быть причиной этой огромной низкой скорости?

снимок экрана1

снимок экрана2

...