Используйте ImagesPipeline во вложенных элементах в Scrapy - PullRequest
1 голос
/ 19 марта 2019

У меня есть пустые массивы, когда я пытаюсь загрузить изображения в scrapy, и это кажется немного странным.Я следовал за шагами, но кажется, что ImagePipeline не работает с вложенными элементами.Но для меня важно сохранить эту артикуляцию в моем выходном файле Json.

Вот мой код:

    import json
import scrapy

from scrapy.loader import ItemLoader
from ccv_spiders.items import AuctionItem

class GlenMarchSpider(scrapy.Spider):
    name = 'auctions_results'

    def __init__(self, *args, **kwargs):
        with open('/home/bolgi/Workspace/Dev/python_workspace/ccv_spiders/ccv_spiders/json/input/db_urls_glenmarch_results_scrapy_reduced.json', encoding='utf-8') as data_file:
            self.data = json.load(data_file)

    def start_requests(self):
        for item in self.data:
            request = scrapy.Request(item['gm_url'], callback=self.parse)
            request.meta['item'] = item
            yield request

    def parse(self, response):
        item = response.meta['item']
        item['results'] = []

        for caritem in response.css("div.car-item-border"):
            data = AuctionItem()
            data["auction_house"] = caritem.css("div.auctionHouse::text").get().split("-", 1)[0].strip()
            data["auction_country"] = caritem.css("div.auctionHouse::text").get().rsplit(",", 1)[1].strip()
            data["auction_date"] = caritem.css("div.date::text").get().replace(",", "").strip()
            data["auction_url"] = caritem.css("div.view-auction a::attr(href)").get()
            data["img_urls"] = caritem.css("img.img-responsive::attr(src)").get()
            item['results'].append(data)

        yield item

Файл элемента:

import scrapy
from scrapy.loader.processors import MapCompose

class AuctionItem(scrapy.Item):
    auction_house= scrapy.Field()
    auction_country= scrapy.Field()
    auction_date= scrapy.Field()
    auction_url= scrapy.Field()
    image_urls= scrapy.Field()

    pass

Ифайл настроек:

ITEM_PIPELINES = {
    'scrapy.pipelines.images.ImagesPipeline': 1,
}

IMAGES_STORE = 'images'

DOWNLOAD_TIMEOUT = 1200

Я не понимаю, как загрузить изображения во вложенных элементах с помощью Scrapy ...

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...