Удалить игнорирующее ответное сообщение из журнала Scrapy

Question

Я использую python scrapy, и на сайте много неверных ссылок, что приводит к 404 кодовым страницам статуса.Scrapy добавить сообщение в журнал «игнорирование ответа 404» - оно очень заполняет журнал, как удалить такого рода сообщения?

Answer 1

Scrapy использует модуль Python logging, так что вы можете просто сделать это обычным способом - получить соответствующий регистратор и изменить его уровень ведения журнала.

Документация даже показывает этот точный пример в разделе Регистрация -Расширенные настройки :

import logging
import scrapy


class MySpider(scrapy.Spider):
    # ...
    def __init__(self, *args, **kwargs):
        logger = logging.getLogger('scrapy.spidermiddlewares.httperror')
        logger.setLevel(logging.WARNING)
        super().__init__(*args, **kwargs)