Scrapy проблемы с запросами

Question

Я пытаюсь собрать все возможные комбинации выходных данных из 5 выпадающих списков (работая как глубина дерева) и сделать из них общую структуру данных дерева.

У меня есть запросы внутри опции for вопций выпадающего списка, и каждый паук повторяет каждый цикл for один раз.

def parse(self, response):
    lastPos = response.meta['lastPos']
    ending = False
    for dropDown in reversed(response.css('select')):
        if ending == True:
            break
        dropId = dropDown.css('::attr(id)').get()
        options = dropDown.css('option::text').getall()
        for option in options:
            if option != self.root:
                self.dropDict[dropId] = option
                    request = scrapy.FormRequest(url=response.url, formdata=self.dropDict, callback=self.parse)
                    request.meta['lastPos'] = option
                    return request

пауку необходимо выполнить итерацию по 16 возможным последовательностям, но я могу получить только первую последовательность, которая всегда выбирает первый выпадающий вариант.Я не могу отправить репо паука, это полезно

Answer 1

Используйте yield request вместо retutn request.