Невозможно импортировать модуль с CrawlerProcess - PullRequest
0 голосов
/ 29 декабря 2018

Я использую CrawlSpider с командной строкой scrapy.Все в порядке:

scrap crawl --nolog newproductcrawler

Теперь я хочу использовать CrawlerProcess, и модуль элемента падает при импорте.

Произошло исключение: ModuleNotFoundError

Нет модуля с именем 'productsupervision'

То же самое, в файле setting.py я включаю конвейер с аналогичным модулем, и онне загружен.

from productsupervision.responseitem import ResponseItem

startUp.py

 [...]
 process = CrawlerProcess(get_project_settings())
 process.crawl(NewproductcrawlerSpider ,url = 'http://www.example.com',domain='www.example.com' )
 process.start()

NewproductcrawlerSpider.py

import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from array import array
from productsupervision.responseitem import ResponseItem #EXCEPTION
class NewproductcrawlerSpider(CrawlSpider):
  name = 'newproductcrawler'

структура папок (больше не может вставлять img!; o (()

+ productsupervision

++ spiders

+++ newproductcrawler.py (сканер)

+++ startUp.py

++ middlewares.py

++ pipelines.py

++ responseitem.py

++ settings.py

+ scrapy.cfg

Я ищу способ правильно импортировать модуль iteml с CrawlerProcess

1 Ответ

0 голосов
/ 29 декабря 2018

Хорошо, найдено: startUp.py ДОЛЖЕН быть на корневом уровне проекта.Та же папка, что и scrapy.cfg

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...