Я написал несколько больших скребков с миллионами URL. Они забирают память более 15 ГБ и их убивают.
Проблема связана с очередью запросов. Его размер увеличился до тысяч.
Я также использовал -s job_directory = dir_name для хранения очереди запросов на жестком диске, но, поскольку я сталкиваюсь с этой проблемой в нескольких скребках, это будет стоить мне много места.
Есть ли способ ограничить размер очереди запросов? Пожалуйста, предложите мне решение этой проблемы.