Есть ли способ сделать так, чтобы более двух пауков сканировали разные сайты в одном проекте, используя Scrapy?

Question

У меня около 10 веб-сайтов, с которых мне нужно удалить некоторые данные, я использую скрап и мне нужно знать, нужно ли мне сделать 10 отдельных проектов (по одному на каждый веб-сайт) или 10 пауков в одном проекте?

Answer 1

Если вы можете поделиться любым кодом между пауками (базовый класс предметов, промежуточное программное обеспечение и т. Д. c.), Я бы go за один проект.

Если у вас есть Специфичные для spider c элементы, конвейеры или промежуточное программное обеспечение, вы всегда можете определить их в файлах spider Python.

Answer 2

Теоретически возможно и то и другое, вы можете иметь несколько пауков в одном проекте или создать несколько проектов. Однако с 10 веб-сайтами шансы достаточно высоки, что вам нужны различные конвейеры, промежуточные настройки и так далее. По этой причине я бы обычно предложил использовать несколько проектов. Кроме того, ваш файл items.py может стать очень большим с несколькими пауками, поэтому вы можете потерять след.