Как избежать раздутых файлов журнала в Python? - PullRequest
Новая
       11

Как избежать раздутых файлов журнала в Python?

2 голосов
/ 28 апреля 2019

Мой скрипт выполняется каждые 5 секунд. Ошибки записываются в файл. Это означает, что при возникновении ошибки файл журнала раздувается одной и той же ошибкой каждые 5 секунд . 

while True:
    try:
        i_might_fail()   # As long as this line fails...
    except Exception as ex:
        logger.error(ex) # ... the log file gets bloated
    time.sleep(5)

Невозможно завершить сценарий. Он должен повторяться каждые 5 секунд.

Я ищу функцию ведения журнала, чтобы игнорировать то же исключение в течение x минут : 

logger.ignore_duplicates_for(10, 'minutes')

Есть идеи? Заранее спасибо!

1 Ответ

2 голосов
/ 28 апреля 2019

Эта функция может быть реализована следующим образом: 

import logging
import time
import datetime

logger = logging.getLogger(__file__)


TIMEDELTA = datetime.timedelta(seconds=5)


def error_without_duplicates(self, msg, *args, **kwargs):
    if not hasattr(self, 'msg_cache'):
        self.msg_cache = {}
    str_msg = str(msg)
    now = datetime.datetime.utcnow()
    if str_msg not in self.msg_cache:
        self.error(msg, *args, **kwargs)
        self.msg_cache[str_msg] = now
    elif now - self.msg_cache[str_msg] > TIMEDELTA:
        self.error(msg, *args, **kwargs)
        self.msg_cache[str_msg] = now


logging.Logger.error_without_duplicates = error_without_duplicates


while True:
    try:
        a = 1 /0
    except Exception as ex:
        logger.error_without_duplicates(ex)  # every 5 seconds, not 1
    time.sleep(1)
...