У меня есть паук, который я написал с использованием фреймворка Scrapy. У меня возникли проблемы с работой каких-либо трубопроводов. У меня есть следующий код в моем pipelines.py:
class FilePipeline(object):
def __init__(self):
self.file = open('items.txt', 'wb')
def process_item(self, item, spider):
line = item['title'] + '\n'
self.file.write(line)
return item
и у моего подкласса CrawlSpider есть эта строка для активации конвейера для этого класса.
ITEM_PIPELINES = [
'event.pipelines.FilePipeline'
]
Однако, когда я запускаю его, используя
scrapy crawl my_spider
Я получаю строку с надписью
2010-11-03 20:24:06+0000 [scrapy] DEBUG: Enabled item pipelines:
без конвейеров (я полагаю, именно здесь протоколирование должно их выводить).
Я попытался просмотреть документацию, но, похоже, нет полных примеров целого проекта, чтобы увидеть, что я что-то пропустил.
Есть предложения, что попробовать дальше? или где искать дополнительную документацию?