Конвейер файлов Scrapy для хранения Minio - PullRequest
Новая
       8

Конвейер файлов Scrapy для хранения Minio

0 голосов
/ 17 мая 2019

В течение последней недели я работал над небольшим scrapy-проектом, и я застрял в сохранении файла в моем мини-ведре с использованием scrapy-конвейеров. Я пытаюсь использовать стандартные и пользовательские конвейеры безрезультатно.

Моя политика минио уже установлена ​​для общего доступа.

settings.py 

ITEM_PIPELINES = {'tutorial.pipelines.zipsPipeline': 1}
FILES_STORE = 's3://minio/testing'

AWS_USE_SSL = False
AWS_VERIFY = False

AWS_ACCESS_KEY_ID = 'key'
AWS_SECRET_ACCESS_KEY= 'secret'

items.py 

class zipItem(scrapy.Item):
    filecontent = scrapy.Field()

piplines.py 

class zipsPipeline(object):
     def process_item(self, item, spider):
        return item

myspider.py 

def step(self, response):
    zipfile = zipItem()
    zipfile['filecontent'] = response.body
    yield zipfile

Я даже не получаю сообщения об ошибках. Но паук заканчивается. Есть идеи?

...