Мне нужно отправить свои запросы в порядке с помощью Scrapy.
def n1(self, response) :
#self.input = [elem1,elem2,elem3,elem4,elem5, .... ,elem100000]
for (elem,) in self.input :
link = urljoin(path,elem)
yield Request(link)
Моя проблема в том, что запросы не в порядке.Я прочитал этот вопрос , но у него нет правильного ответа.
Как мне изменить мой код для отправки запросов в порядке?
ОБНОВЛЕНИЕ 1
Я использовал приоритет и изменил свой код на
def n1(self, response) :
#self.input = [elem1,elem2,elem3,elem4,elem5, .... ,elem100000]
self.prio = len(self.input)
for (elem,) in self.input :
self.prio -= 1
link = urljoin(path,elem)
yield Request(link, priority=self.prio)
И мои настройки для этого паука
custom_settings = {
'DOWNLOAD_DELAY' : 0,
'COOKIES_ENABLED' : True,
'CONCURRENT_REQUESTS' : 1 ,
'AUTOTHROTTLE_ENABLED' : False,
}
Теперь порядок меняется, но не в порядке элементов в массиве