Scrapy возвращение предметов внутри паука перед первым запросом / анализом

Question

Мне нужно вернуть некоторые предметы изнутри паука перед началом разбора запросов. Потому что мне нужно убедиться, что некоторые родительские элементы существуют в базе данных, прежде чем анализировать дочерние элементы.

Теперь я получаю их из метода parse, и это, кажется, работает нормально. Но мне было интересно, есть ли лучший способ сделать это?

Answer 1

Вместо того, чтобы выдавать элементы, запишите их в базу данных непосредственно в конструкторе конвейера, где вы добавляете обычные элементы в базу данных.