Файл scrapy (unknown-error): Ошибка при загрузке изображения с - PullRequest
Новая
       16

Файл scrapy (unknown-error): Ошибка при загрузке изображения с

0 голосов
/ 09 апреля 2019

Я хочу скачать изображение с помощью scrap, используя всплеск.Когда я запускаю код, я получаю следующую ошибку: 

2019-04-09 11:09:32 [scrapy.pipelines.files] WARNING: File (unknown-error): Error downloading image from <GET https://www.xxxxx.jpg> referred in <None>: 'splash'

Я пытался использовать SplashRequest, но не смог.Что я должен делать?Смотрите мой код ниже: 

    def get_media_requests(self, item, info):
        try:
            for image_url in item['image']:
                yield SplashRequest(image_url,endpoint='render.html' )
        except:
            pass

1 Ответ

0 голосов
/ 09 апреля 2019

Проверьте документацию , SplashRequest требует два аргумента: url и self.parse_result.Остальные необязательны: 

yield SplashRequest(url, self.parse_result,
    args={
        # optional; parameters passed to Splash HTTP API
        'wait': 0.5,

        # 'url' is prefilled from request url
        # 'http_method' is set to 'POST' for POST requests
        # 'body' is set to request body for POST requests
    },
    endpoint='render.json', # optional; default is render.html
    splash_url='<url>',     # optional; overrides SPLASH_URL
    slot_policy=scrapy_splash.SlotPolicy.PER_DOMAIN,  # optional
)

В вашем коде вы не предоставляете аргумент self.parse_result.Вам нужно передать имя вашего метода разбора.Например, если ваш метод анализа называется parse, используйте: 

yield SplashRequest(image_url, self.parse, endpoint='render.html' )
...