Проблема в файле конвейеров, так как он не выбирает название книги. вместо этого сохраняя одно случайное изображение с None.jpg для каждого сканирования - PullRequest
Новая
       15

Проблема в файле конвейеров, так как он не выбирает название книги. вместо этого сохраняя одно случайное изображение с None.jpg для каждого сканирования

2 голосов
/ 20 февраля 2020

файл items.py. как я знал о image_urls и поле изображений. Это не создавало никаких проблем. 

import scrapy
from scrapy.loader.processors import TakeFirst

class BooksToScrapeItem(scrapy.Item):
    image_urls = scrapy.Field()
    images = scrapy.Field()
    book_name = scrapy.Field(
        output_processor = TakeFirst()
    )

файл pipelines.py. Я думаю, что должна быть проблема в методе get_media_request, так как он не извлекает имя книги из файла элементов 

from scrapy.pipelines.images import ImagesPipeline
from scrapy import Request


class BooksToScrapeImagePipeline(ImagesPipeline):

    def get_media_requests(self, item, info):
        return [Request(x,meta={'bookname': item.get('book_name')}) for x in item.get(self.images_urls_field, [])] #i think that the problem is in this line

    def file_path(self, request, response=None, info=None):

        return 'full/%s.jpg' % (request.meta['bookname'])

файл паука, который я использую для очистки. Он работал, когда я не настраивал файл конвейера. 

import scrapy
from scrapy.loader import ItemLoader
from books_to_scrape.items import BooksToScrapeItem

class ImgscrapeSpider(scrapy.Spider):
    name = 'imgscrape'
    allowed_domains = ['books.toscrape.com']
    start_urls = ['http://books.toscrape.com']

    def parse(self, response):
        for article in response.xpath("//article[@class='product_pod']"):
            loader = ItemLoader(item=BooksToScrapeItem(),selector=article)
            relative_url = article.xpath(".//div/a/img[@class='thumbnail']/@src").extract_first()
            abs_url = response.urljoin(relative_url)
            loader.add_value('image_urls',abs_url)
            loader.add_xpath('book_name',".//article[@class='product_pod']/h3/a/text()") 
            yield loader.load_item()

1 Ответ

1 голос
/ 20 февраля 2020

Ваша проблема в относительном xpath 

loader.add_xpath('book_name', ".//article[@class='product_pod']/h3/a/text()")

Загрузчик использует xpath("//article[@class='product_pod']") в качестве селектора 

   for article in response.xpath("//article[@class='product_pod']"):
        loader = ItemLoader(item=BooksToScrapeItem(), selector=article)

, поэтому все относительные xpath относительно "//article[@class='product_pod']" и им не нужны "//article[@class='product_pod']" в xpath.

Используя относительный xpath ".//article[@class='product_pod']/h3/a/text()", он не мог найти заголовок, поэтому book_name был пуст для всех элементов и для всех элементов, он использовал None в качестве заголовка - и он использовал то же самое имя None.jpg для всех изображений.

Это должно быть 

loader.add_xpath('book_name', ".//h3/a/text()")  # title with `...`

Кстати: text() не имеет полного названия но с .... Чтобы получить полный заголовок, вы должны получить атрибут title=

loader.add_xpath('book_name', ".//h3/a/@title")  # full title

Я создал версию со всем кодом в одном файле, чтобы запустить ее без создания проекта.

Каждый может скопировать его в один файл и запустить для проверки. 

import scrapy
from scrapy.loader.processors import TakeFirst

class BooksToScrapeItem(scrapy.Item):
    image_urls = scrapy.Field()
    images = scrapy.Field()
    book_name = scrapy.Field(
        output_processor = TakeFirst()
    )

from scrapy import Request
from scrapy.pipelines.images import ImagesPipeline

class BooksToScrapeImagePipeline(ImagesPipeline):

    def get_media_requests(self, item, info):
        return [Request(x, meta={'bookname': item.get('book_name')}) for x in item.get(self.images_urls_field, [])] #i think that the problem is in this line

    def file_path(self, request, response=None, info=None):
        return 'full/%s.jpg' % request.meta['bookname']

from scrapy.loader import ItemLoader

class ImgscrapeSpider(scrapy.Spider):
    name = 'imgscrape'
    allowed_domains = ['books.toscrape.com']
    start_urls = ['http://books.toscrape.com']

    def parse(self, response):
        for article in response.xpath("//article[@class='product_pod']"):

            loader = ItemLoader(item=BooksToScrapeItem(),selector=article)

            relative_url = article.xpath(".//div/a/img[@class='thumbnail']/@src").extract_first()
            abs_url = response.urljoin(relative_url)

            loader.add_value('image_urls', abs_url)
            #loader.add_xpath('book_name',".//article[@class='product_pod']/h3/a/text()")  # wrong relative xpath 
            #loader.add_xpath('book_name', ".//h3/a/text()")  # only partial title
            loader.add_xpath('book_name', ".//h3/a/@title")  # full title

            yield loader.load_item() 

# -----------------------------------------------------------------------------

from scrapy.crawler import CrawlerProcess

c = CrawlerProcess({
    'USER_AGENT': 'Mozilla/5.0',

    # save in file CSV, JSON or XML
    'FEED_FORMAT': 'csv',     # csv, json, xml
    'FEED_URI': 'output.csv', #

    # download images to `IMAGES_STORE/full` (standard folder) and convert to JPG (even if it is already JPG)
    # it needs `yield {'image_urls': [url]}` in `parse()` and both ITEM_PIPELINES and IMAGES_STORE to work

    'ITEM_PIPELINES': {'__main__.BooksToScrapeImagePipeline': 1},            # used Pipeline create in current file (needs __main___)
    'IMAGES_STORE': '.',                   # this folder has to exist before downloading

})
c.crawl(ImgscrapeSpider)
c.start()
...