Я использую CrawlSpider с командной строкой scrapy.Все в порядке:
scrap crawl --nolog newproductcrawler
Теперь я хочу использовать CrawlerProcess, и модуль элемента падает при импорте.
Произошло исключение: ModuleNotFoundError
Нет модуля с именем 'productsupervision'
То же самое, в файле setting.py я включаю конвейер с аналогичным модулем, и онне загружен.
from productsupervision.responseitem import ResponseItem
startUp.py
[...]
process = CrawlerProcess(get_project_settings())
process.crawl(NewproductcrawlerSpider ,url = 'http://www.example.com',domain='www.example.com' )
process.start()
NewproductcrawlerSpider.py
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from array import array
from productsupervision.responseitem import ResponseItem #EXCEPTION
class NewproductcrawlerSpider(CrawlSpider):
name = 'newproductcrawler'
структура папок (больше не может вставлять img!; o (()
+ productsupervision
++ spiders
+++ newproductcrawler.py (сканер)
+++ startUp.py
++ middlewares.py
++ pipelines.py
++ responseitem.py
++ settings.py
+ scrapy.cfg
Я ищу способ правильно импортировать модуль iteml с CrawlerProcess