загрузка скрапа в aws не происходит - PullRequest
0 голосов
/ 26 октября 2019
BOT_NAME = 'catalog'
SPIDER_MODULES = ['catalog.spiders']
NEWSPIDER_MODULE = 'catalog.spiders'
AUTOTHROTTLE_ENABLED = False
ROBOTSTXT_OBEY = False
CONCURRENT_REQUESTS = 10
CONCURRENT_REQUESTS_PER_DOMAIN = 10
BUCKET_NAME = 'example'
AWS_ACCESS_KEY_ID = 'example'
AWS_SECRET_ACCESS_KEY = 'long/example'
FEED_FORMAT = 'csv'
FEED_URI = 'hi'

Здравствуйте, я пытаюсь загрузить очищенные данные в корзину AWS, я использую вышеуказанные настройки в settings.py, ошибка не отображается, но на самом деле ничего не происходит (в aws) при запуске scrapy crawl catalogпаук работает нормально, когда я запускаю scrapy crawl catalog -o test.csv (также не загружает)

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...