Использование нескольких пауков в проекте в Scrapy

Question

Я хочу знать, возможно ли использовать несколько пауков в одном проекте вместе.На самом деле мне нужно 2 паука.Первый собирает ссылки, по которым второй паук должен поцарапать.Они оба работают на одном сайте, поэтому домен похож. Возможно ли это?Если да, можете ли вы привести пример?Спасибо

Answer 1

Может быть, это то, что вы ищете:

def parse(self, response):
    # parse the links (aka your first spider)
    for link in hxs('//XPATH'):
        yield Request(link.extract(), callback=self.parse_link)

def parse_link(self, response):
    # continue parsing (aka your second spider)

Надеюсь, это поможет вам :)