Паук Scrapy не всегда завершается с использованием расширения CloseSpider

Question

Я попытался использовать расширение CLOSESPIDER_TIMEOUT в настройках, чтобы убить пауков, которые работают более 3 часов.

CLOSESPIDER_TIMEOUT = 3 * 60 * 60

Хотя пауки получают запрос на тайм-аут закрытия, фактически он никогда не останавливает паука, который продолжает работать.

Есть идеи, что не так в этом случае?

Answer 1

Если ваш паук получает запрос на тайм-аут закрытия, расширение, похоже, работает. Не похоже, что что-то не так, но вам, возможно, придется немного подождать, пока паук полностью не закроется, так как он сначала завершит sh уже запланированные запросы, а затем полностью отключится.