как остановить scrapy-redis безопасно - PullRequest
Новая
       9

как остановить scrapy-redis безопасно

0 голосов
/ 05 ноября 2018

Когда паук scrapy-redis отправляет все запросы, я хочу безопасно остановить паука. Я надеюсь, что эти запросы будут выполнены другим spider-файлом scrapy-redis следующим образом: 

def start_requests(self):
    for i in range(10):
        message = {}
        message['url'] = 'https://www.baidu.com/?tn=%s' % i
        message['object'] = 'request'
        message['method'] = 'get'
        message['page'] = str(1)
        message['tags'] = 'tags_test'
        message['delid'] = 1
        yield self.launce_request(**message)
    exit()

Я переписал метод start_requests и выдал 10 запросов. После того, как запрос был помещен на redis, паук остановился. Этот код является ошибкой.

...