У меня есть паук, который выдает новые запросы в зависимости от того, сколько результатов отображается на моем целевом сайте.Моя проблема в том, что scrapyrt останавливается после 7 запросов, но мой паук через scrapy crawl или python «Script name» дает мне ожидаемые результаты.Кто-нибудь испытывает что-нибудь подобное?
{"status":"ok",
"items": [{omitted to save space}],
"spider_name": "SS",
"stats": {
"crawlera/request": 7,
"crawlera/request/method/GET": 7,
"crawlera/response": 7,
"crawlera/response/status/200": 7,
"downloader/request_bytes": 3389,
"downloader/request_count": 7,
"downloader/request_method_count/GET": 7,
"downloader/response_bytes": 1657211,
"downloader/response_count": 7,
"downloader/response_status_count/200": 7,
"finish_reason": "finished",
"finish_time": "2019-09-24 13:49:21",
"item_scraped_count": 360,
"log_count/DEBUG": 367,
"log_count/INFO": 10,
"request_depth_max": 1,
"response_received_count": 7,
"scheduler/dequeued": 7,
"scheduler/dequeued/memory": 7,
"scheduler/enqueued": 7,
"scheduler/enqueued/memory": 7,
"start_time": "2019-09-24 13:49:01"
},"items_dropped": []}
{'crawlera/request': 62,
'crawlera/request/method/GET': 62,
'crawlera/response': 59,
'crawlera/response/status/200': 59,
'downloader/exception_count': 3,
'downloader/exception_type_count/twisted.internet.error.TimeoutError': 3,
'downloader/request_bytes': 29263,
'downloader/request_count': 62,
'downloader/request_method_count/GET': 62,
'downloader/response_bytes': 13951798,
'downloader/response_count': 59,
'downloader/response_status_count/200': 59,
'elapsed_time_seconds': 208.05,
'finish_reason': 'finished',
'finish_time': datetime.datetime(2019, 9, 25, 14, 8, 46, 641000),
'item_scraped_count': 1552,
'log_count/DEBUG': 1614,
'log_count/INFO': 15,
'request_depth_max': 1,
'response_received_count': 59,
'retry/count': 3,
'retry/reason_count/twisted.internet.error.TimeoutError': 3,
'scheduler/dequeued': 62,
'scheduler/dequeued/memory': 62,
'scheduler/enqueued': 62,
'scheduler/enqueued/memory': 62,
'start_time': datetime.datetime(2019, 9, 25, 14, 5, 18, 591000)}