Очистка и загрузка изображений без расширения файла

Question

Я пытаюсь использовать изображение / файл Scrapy pipeline для загрузки изображений без расширения файла.

Например, это изображение:

https://burpple -2.imgix.net / foods / 3d9294008d0f76a92e21647960_original.? w = 400 & h = 400 & fit = crop & q = 80

Как видите, изображение загружается очень хорошо, и я могу выскоблить URL в Scrapy.Однако передача URL-адреса в image_urls или file_urls не приводит к загрузке изображений.

Я пытался добавить ".jpg" в конец URL, он не работает.

Как бы я загружал изображения такого типа?

РЕДАКТИРОВАТЬ:

Я уже включил ImagePipeline.Загрузка с других URL-адресов с соответствующим расширением файла работает нормально, и я вижу, что изображения загружаются в указанные папки.

Answer 1

Вы включили ImagePipeline в своих настройках?

Вы должны увидеть журнал INFO, который выглядит следующим образом:

2018-11-14 10:37:33 [scrapy.middleware] INFO: Enabled item pipelines:
['scrapy.pipelines.images.ImagesPipeline']

Этот код сработалдля меня:

from scrapy.spiders import Spider

class MySpider(Spider):

    name = "burpple-2.imgix.net"
    start_urls = ['https://burpple-2.imgix.net/']

    custom_settings = {
        'ITEM_PIPELINES': {'scrapy.pipelines.images.ImagesPipeline': 1},
        'IMAGES_STORE': '/some/valid/folder/',
    }

    def parse(self, response):
        yield {
            'image_urls': ['https://burpple-2.imgix.net/foods/3d9294008d0f76a92e21647960_original.?w=400&h=400&fit=crop&q=80'],
        }