У меня много скребков, работающих на сервере, один из них был убит через несколько часов, я не мог понять причину. в то время как другие скребки продолжают работать в это время.
Я пробовал варианты уменьшения количества одновременных запросов, но он не работал
вот мои логи
2019-06-15 09:57:06,922 - logstats - scrapy.extensions.logstats - INFO - Crawled 10868 pages (at 9 pages/min), scraped 6318 items (at 9 items/min)
2019-06-15 09:58:06,922 - logstats - scrapy.extensions.logstats - INFO - Crawled 10879 pages (at 11 pages/min), scraped 6329 items (at 11 items/min)
2019-06-15 09:59:06,922 - logstats - scrapy.extensions.logstats - INFO - Crawled 10889 pages (at 10 pages/min), scraped 6339 items (at 10 items/min)
2019-06-15 10:00:06,922 - logstats - scrapy.extensions.logstats - INFO - Crawled 10899 pages (at 10 pages/min), scraped 6349 items (at 10 items/min)
Killed