работа скребка слишком медленная - PullRequest
3 голосов
/ 22 мая 2019

Я новичок в чистке, и я выполняю различные работы на чистке.Я запускаю их через их API.Проблема в том, что запуск паука и его инициализация занимает слишком много времени, например, 30 секунд.Когда я запускаю его локально, на завершение паука уходит до 5 секунд.Но в Скрапхабе это занимает 2:30 минуты.Я понимаю, что закрытие паука после выполнения всех запросов занимает немного больше времени, но это не проблема.В любом случае, моя проблема в том, что с того момента, как я вызываю API для запуска задания (я вижу, что оно появляется в запущенных заданиях мгновенно, но занимает слишком много времени, чтобы выполнить первый запрос) и в момент выполнения первого запроса, я долженждать слишком многоЛюбая идея, как я могу сделать это так же коротко, как и на месте?Спасибо!

Я уже пытался поставить AUTOTHROTTLE_ENABLED = false, как я видел в каком-то другом вопросе о stackoverflow.

1 Ответ

0 голосов
/ 31 мая 2019

В соответствии с документами облачного хранилища :
Задания Scrapy Cloud запускаются в контейнерах. Эти контейнеры могут иметь разные размеры, определяемые единицами Scrapy Cloud.

Облако Scrapy предоставляет: 1 ГБ ОЗУ, 2,5 ГБ дискового пространства, 1 процессор и 1 слот для одновременного сканирования.

Ресурсы, доступные для работы, пропорциональны количеству выделенных единиц.
Это означает, что выделение большего количества модулей Scrapy Cloud может решить вашу проблему.

...