Не удается запустить конвейер Scrapy - PullRequest
8 голосов
/ 03 ноября 2010

У меня есть паук, который я написал с использованием фреймворка Scrapy. У меня возникли проблемы с работой каких-либо трубопроводов. У меня есть следующий код в моем pipelines.py:

class FilePipeline(object):

    def __init__(self):
        self.file = open('items.txt', 'wb')

    def process_item(self, item, spider):
        line = item['title'] + '\n'
        self.file.write(line)
        return item

и у моего подкласса CrawlSpider есть эта строка для активации конвейера для этого класса.

ITEM_PIPELINES = [
        'event.pipelines.FilePipeline'
    ]

Однако, когда я запускаю его, используя

scrapy crawl my_spider

Я получаю строку с надписью

2010-11-03 20:24:06+0000 [scrapy] DEBUG: Enabled item pipelines:

без конвейеров (я полагаю, именно здесь протоколирование должно их выводить).

Я попытался просмотреть документацию, но, похоже, нет полных примеров целого проекта, чтобы увидеть, что я что-то пропустил.

Есть предложения, что попробовать дальше? или где искать дополнительную документацию?

Ответы [ 2 ]

8 голосов
/ 04 ноября 2010

Понял! Строка должна идти в модуле настроек проекта. Теперь это работает!

0 голосов
/ 03 ноября 2010

Готов поспорить, что где-то разница в заглавных буквах в словаре:

Pipeline против PipeLine

Я заметил, 'event.pipelines.FilePipeline' использует первое, тогда как ваш код используетпоследний: какие имена используют ваши имена?

(я неоднократно становился жертвой этой орфографической ошибки!)

...