Я пытался запустить сканирование в ограниченном по времени окружении, где мы хотим убедиться, что удаление прекращается после фиксированного ограничения времени выполнения.
Мы установили следующие значения CLOSESPIDER_TIMEOUT как 60 seconds и DOWNLOAD_TIMEOUT как 30 seconds.
Мы установили принудительное завершение (уничтожение подпроцесса) на 90 seconds для покрытияв крайнем случае, если запрос страницы выполняется за 59 секунд, и витая не может загрузить страницу и срабатывает сигнал тайм-аута загрузки. (59 + 30 = 89 <90 секунд) </p>
, но все равно сценарии выполняются в течение произвольного количества времени. диапазон находится между 102-115 seconds.
Я не уверен, где используется эта переменная 15-30 секунд и почему скрапирование не удается закрыть изящно через 90 секунд, как ожидалось
Я с нетерпением ждуответить на объяснение архитектуры скрапа / скрученного реактора, где вводится это отставание
Спасибо