Я считаю, что вы можете использовать для этого расширение closespider с настройкой CLOSESPIDER_PAGECOUNT. Согласно docs :
... указывает максимальное количество ответов на сканирование. Если паук ползет больше, паук будет закрыт по причине closespider_pagecount
Все, что вам нужно сделать, это указано в ваших настройках. Py:
CLOSESPIDER_PAGECOUNT = 100
Если это вам не подходит, другой подход может заключаться в написании собственного расширения с использованием модуля Scrapy stats для отслеживания количества запросов.