Как ведет себя скрап, когда не хватает ресурсов?

Question

Я использую несколько скребков, используя командную строку, которая является автоматизированным процессом.

Python: 2.7.12
Scrapy: 1.4.0
ОС: Ubuntu 16.04.4 LTS

Я хочу знать, как scrapy справляется со случаем, когда

1. Недостаточно пропускной способности памяти / процессора для запуска скребка.
2. Недостаточно пропускной способности памяти / процессора во времяпрогон скребка.

Я просмотрел документацию, но ничего не смог найти.

Если кто-нибудь ответит на этот вопрос, вам не обязательно знать правильный ответ,если вы можете указать мне общее направление любого известного вам ресурса, который был бы полезен, это также было бы признательно

Answer 1

Операционная система убивает любой процесс, который пытается получить доступ к большему объему памяти, чем предел.Относится и к программам на Python.и разметка ничем не отличается.

Чаще всего пропускная способность является узким местом в приложениях очистки / сканирования.

Память будет узким местом только в случае серьезной утечки памяти в вашем приложении.

Ваше приложение будет очень медленным, если центральный процессор совместно используется многими процессами на одном компьютере.