Паук-скраб с IMAGES_STORE в DigitalOcean Spaces

Question

Мне нужна помощь с настройкой IMAGES_STORE для моего паука-скрапа.

Я хостинг с DigitalOcean и хотел бы загрузить изображения в их пространства.

Мое приложение scrapy интегрировано с веб-сайтом Django. Я уже использую пробелы для хранения изображений для сайта Django, используя инструкции здесь https://www.digitalocean.com/community/tutorials/how-to-set-up-object-storage-with-django

Очень похоже на настройки для AWS S3.

Конечной точкой API для моего пространства является https://ams3.digitaloceanspaces.com

Согласно документации по 1013 * scopy настройки AWS следующие ...

IMAGES_STORE = 's3://bucket/images' 
IMAGES_STORE_S3_ACL = 'public-read'

Я пытался адаптировать это для DigitalOcean Spaces, но безуспешно.

Я уже пробовал

IMAGES_STORE = 'https://ams3.digitaloceanspaces.com/media'

и

IMAGES_STORE = 's3://ams3.digitaloceanspaces.com/media'

Любая помощь по этому вопросу будет отличной.

Answer 1

У меня нет доступа ни к DigitalOcean Spaces, ни к Amazon S3, поэтому воспринимайте это как отправную точку. Изучая документацию API для DigitalOcean Spaces (где приведен пример для Python) и Код Scrapy для FilesPipeline (на котором основан ImagesPipeline), я бы сказал, что вы также необходимо настроить не менее AWS_ENDPOINT_URL в settings.py, возможно, также другие параметры AWS_*.