Scrapy не использует MY FilesPipeline, хотя я сделал все, чтобы включить его

Question

Я использовал FilesPipeline для загрузки файлов, но файлы были загружены с ха sh в их имени, поэтому я решил изменить это. Я использовал эту инструкцию , но паук, кажется, никогда не использовал мой конвейер.

settings.py

# Configure item pipelines
# See https://docs.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
    'myspider.pipelines.MySpiderPipeline': 1, 
    #'scrapy.pipelines.files.FilesPipeline': 1, #I'VE TRIED BOTH <<<<<<<<<<<<<<<<
}

FILES_STORE = 'downloaded_files/'

items.py

class MySpiderItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    file_name = scrapy.Field()
    file_urls = scrapy.Field()
    files = scrapy.Field()

pipelines.py

import os
import mimetypes
from scrapy import Request
from scrapy.pipelines.files import FilesPipeline

class MyPipeline(FilesPipeline):
    def get_media_requests(self, item, info):
        print('THIS NEVER GET PRINTED') #<<<<<<<<<<<
        return [Request(x, meta={'file_name': item.get('file_name')}) for x in item.get(self.files_urls_field, [])]

    def file_path(self, request, response=None, info=None):
        media_guid = request.meta['file_name']
        print('THIS ALSO NEVER GET PRINTED') #<<<<<<<<<<<
        ### THE REST OF THIS FUNCTION IS THE SAME FROM PARENT CLASS ### #<<<<<<<<<<<
        if media_ext not in mimetypes.types_map:
            media_ext = ''
            media_type = mimetypes.guess_type(request.url)[0]
            if media_type:
                media_ext = mimetypes.guess_extension(media_type)
        return 'full/%s%s' % (media_guid, media_ext)

    def process_item(self, item, spider):
        return item

myspider.py

import scrapy
from scrapy.loader import ItemLoader
from myspider.items import MySpiderItem

class MySpider(scrapy.Spider):
    name = 'MySpider'

    def start_requests(self):
        start_url = 'https://www.page.com/data/'
        yield scrapy.Request(url=start_url, callback=self.parse)

    def parse(self, response):
        available_files = response.xpath('//div[@class="unit-body"]/li/a')
        for file in available_files:
            url = file.xpath('@href').get()
            loader = ItemLoader(item=MySpiderItem(), selector=file)
            loader.add_value('file_urls', response.urljoin(url))
            loader.add_value('file_name', url)
            yield loader.load_item()

Если я использую scrapy.pipelines.files.FilesPipeline в settings.py, файлы загружаются как обычно, что означает, что они имеют ха sh в качестве имени файла. Если я использую myspider.pipelines.MySpiderPipeline , файл НЕ загружается , ни один из этих отпечатков не печатается (поэтому я могу заключить, что MySpiderPipeline не вызывается beign), но я считаю, что я сделал все, чтобы включить его. Чего мне не хватает?

-

РЕДАКТИРОВАТЬ - добавлены журналы:

2020-01-27 11:15:21 [scrapy.utils.log] INFO: Scrapy 1.8.0 started (bot: myspider)
2020-01-27 11:15:21 [scrapy.utils.log] INFO: Versions: lxml 4.4.1.0, libxml2 2.9.5, cssselect 1.1.0, parsel 1.5.2, w3lib 1.21.0, Twisted 19.7.0, Python 3.7.2 (tags/v3.7.2:9a3ffc0492, Dec 23 2018, 23:09:28) [MSC v.1916 64 bit (AMD64)], pyOpenSSL 19.0.0 (OpenSSL 1.1.1d  10 Sep 2019), cryptography 2.8, Platform Windows-10-10.0.18362-SP0
2020-01-27 11:15:21 [scrapy.crawler] INFO: Overridden settings: {'BOT_NAME': 'myspider', 'DOWNLOAD_TIMEOUT': 1200, 'LOG_FILE': 'output.log', 'NEWSPIDER_MODULE': 'myspider.spiders', 'ROBOTSTXT_OBEY': True, 'SPIDER_MODULES': ['myspider.spiders']}
2020-01-27 11:15:21 [scrapy.extensions.telnet] INFO: Telnet Password: 0ebe68b8aeac79b5
2020-01-27 11:15:21 [scrapy.middleware] INFO: Enabled extensions:
['scrapy.extensions.corestats.CoreStats',
 'scrapy.extensions.telnet.TelnetConsole',
 'scrapy.extensions.logstats.LogStats']
2020-01-27 11:15:22 [scrapy.middleware] INFO: Enabled downloader middlewares:
['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware',
 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',
 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',
 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',
 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',
 'scrapy.downloadermiddlewares.retry.RetryMiddleware',
 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',
 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',
 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',
 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',
 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware',
 'scrapy.downloadermiddlewares.stats.DownloaderStats']
2020-01-27 11:15:22 [scrapy.middleware] INFO: Enabled spider middlewares:
['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',
 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',
 'scrapy.spidermiddlewares.referer.RefererMiddleware',
 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',
 'scrapy.spidermiddlewares.depth.DepthMiddleware']
2020-01-27 11:15:22 [scrapy.middleware] INFO: Enabled item pipelines:
['myspider.pipelines.MyPipeline']
2020-01-27 11:15:22 [scrapy.core.engine] INFO: Spider opened
2020-01-27 11:15:22 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2020-01-27 11:15:22 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023
2020-01-27 11:15:23 [scrapy.core.engine] DEBUG: Crawled (404) <GET https://www.page.com/robots.txt> (referer: None)
2020-01-27 11:15:23 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://www.page.com/data/> (referer: None)
2020-01-27 11:15:24 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://www.page.com/data/a/> (referer: https://www.page.com/data/)
2020-01-27 11:15:24 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.page.com/data/a/>

{'file_name': ['myfile_1'],
 'file_urls': ['https://www.page.com/cdd/myfile_1.csv']}
2020-01-27 11:15:24 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.page.com/data/a/>

{'file_name': ['myfile_2'],
 'file_urls': ['https://www.page.com/cdd/myfile_2.csv']}
2020-01-27 11:15:24 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.page.com/data/a/>

[... lots of the same prints as above (different files obviously) ...]

2020-01-27 11:15:25 [scrapy.core.engine] INFO: Closing spider (finished)
2020-01-27 11:15:25 [scrapy.statscollectors] INFO: Dumping Scrapy stats:
{'downloader/request_bytes': 5362,
 'downloader/request_count': 19,
 'downloader/request_method_count/GET': 19,
 'downloader/response_bytes': 94335,
 'downloader/response_count': 19,
 'downloader/response_status_count/200': 18,
 'downloader/response_status_count/404': 1,
 'elapsed_time_seconds': 2.999766,
 'finish_reason': 'finished',
 'finish_time': datetime.datetime(2020, 1, 27, 14, 15, 25, 343255),
 'item_scraped_count': 541,
 'log_count/DEBUG': 560,
 'log_count/INFO': 10,
 'request_depth_max': 1,
 'response_received_count': 19,
 'robotstxt/request_count': 1,
 'robotstxt/response_count': 1,
 'robotstxt/response_status_count/404': 1,
 'scheduler/dequeued': 18,
 'scheduler/dequeued/memory': 18,
 'scheduler/enqueued': 18,
 'scheduler/enqueued/memory': 18,
 'start_time': datetime.datetime(2020, 1, 27, 14, 15, 22, 343489)}
2020-01-27 11:15:25 [scrapy.core.engine] INFO: Spider closed (finished)

Answer 1

Я проверил исходный код класса FilesPipeline и его "предка" - MediaPipeline класса.

Существует существенная разница между process_item методом MediaPipeline (используется FilesPipeline) и process_item методом вашего MyPipeline класса:
MediaPipeline.process_item source :

def process_item(self, item, spider):
    info = self.spiderinfo
    requests = arg_to_iter(self.get_media_requests(item, info))
    dlist = [self._process_request(r, info) for r in requests]
    dfd = DeferredList(dlist, consumeErrors=1)
    return dfd.addCallback(self.item_completed, item, info)

этот метод вызывает метод get_media_requests и планирует новые запросы напрямую, используя twisted deferreds.
Хотя метод process_item вашего конвейера ничего не делает:

def process_item(self, item, spider):
    return item

Я рекомендую вам удалить process_item из кода конвейера.
После этого оригинального метода process_item из MediaPipeline класс должен вызвать ваш модифицированный get_media_requests метод вашего конвейера .. после этого должен быть вызван ваш overidden file_path метод.