Python Logging установка нескольких регистраторов и переключение между ними

Question

У меня есть программа с циклом, и я хотел бы настроить главный регистратор, который регистрирует информацию из всей программы.Я хотел бы установить разные регистраторы внутри цикла (я буду называть это 'logger_instance' в будущем) для каждого экземпляра цикла.Главный регистратор также должен иметь возможность регистрировать некоторую информацию в цикле.

Проблема с моим текущим кодом заключается в следующем: как только я инициализирую logger_instance внутри цикла, информация, которую я намеревался записать в главный регистратор, записывается в logger_instance вместо основного регистратора.

Ниже приведен пример кода:

class DispatchingFormatter:
"""
This allows to create several formatter objects with desired formats so that logging outputs can take different
formats
"""
    def __init__(self, formatters, default_formatter):
        self._formatters = formatters
        self._default_formatter = default_formatter

    def format(self, record):
        formatter_obj = self._formatters.get(record.name, self._default_formatter)
        return formatter_obj.format(record)

def initiate_logger(log_file_name):

    # Set logging to display INFO level or above
    logging.basicConfig(level=logging.INFO)

    # First empty out list of handlers to remove the default handler created by the running basicConfig above
    # logging.getLogger().handlers.clear()
    logger = logging.getLogger()
    logger.handlers.clear()
    # logger = logging.getLogger().handlers.clear()

    # Set up formatter objects
    formatter_obj = DispatchingFormatter(
    # Custom formats - add new desired formats here
    {
        # This format allows to print the user and the time - use this log format at the start of the execution
        'start_log': logging.Formatter('\n%(levelname)s - %(message)s executed the pipeline at %(asctime)s',
                                       datefmt='%Y-%m-%d %H:%M:%S'),
        # This format allows to print the time - use this log format at the end of the execution
        'end_log': logging.Formatter('\n%(levelname)s - pipeline execution completed at %(asctime)s',
                                     datefmt='%Y-%m-%d %H:%M:%S'),
        # This format allows to print the duration - use this log format at the end of the execution
        'duration_log': logging.Formatter('\n%(levelname)s - total time elapsed: %(message)s minutes'),
        # This is the format of warning messages
        'warning_log': logging.Formatter('\n\t\t%(levelname)s - %(message)s'),
        # This is the format of error messages (
        'error_log': logging.Formatter('\n%(levelname)s! [%(filename)s:line %(lineno)s - %(funcName)20s()] - '
                                       'Pipeline terminating!\n\t%(message)s')
    },
        # Default format - this default is used to print all ESN outputs
        logging.Formatter('%(message)s'),
    )

    # Log to console (stdout)
    c_handler = logging.StreamHandler()
    c_handler.setFormatter(formatter_obj)
    # logging.getLogger().addHandler(c_handler)
    logger.addHandler(c_handler)

    # Log to file in runs folder
    f_handler = logging.FileHandler(log_file_name, 'w+')
    f_handler.setFormatter(formatter_obj)
    # logging.getLogger().addHandler(f_handler)

    logger.addHandler(f_handler)

    # Log user and start time information upon creating the logger
    logging.getLogger('start_log').info(f'{getpass.getuser()}')

    return logger

if __name__ == '__main__':
    # Test logging

    # Initial main logger for outside the loop
    logger_main = initiate_logger('log_main.txt')
    logger_main.info(f'Started the main logging')

    for i in range(5):
        # Create logger in a loop
        this_logger = initiate_logger(f'log_{str(i)}.txt')
        this_logger.info(f'Logging in a loop - loop #{str(i)}')

        # Log some information to main logger
        logger_main.info(f'Something happened in loop #{str(i)}')

    # Log more information to main logger after the loop
    logger_main.info(f'Loop completed!')

log_main.txt содержит

INFO - this_user executed the pipeline at 2019-05-29 19:15:47
Started the main logging

log_0.txt содержит

INFO - lqk4061 executed the pipeline at 2019-05-29 19:15:47
Logging in a loop - loop #0
Something happened in loop #0

Желаемый вывод для log_main.txtдолжно быть

INFO - this_user executed the pipeline at 2019-05-29 19:15:47
Started the main logging
Something happened in loop #0
Something happened in loop #1
Something happened in loop #2
Something happened in loop #3
Something happened in loop #4
Loop completed!

Желаемый вывод для log_0.txt должен быть

INFO - lqk4061 executed the pipeline at 2019-05-29 19:15:47
Logging in a loop - loop #0

Любая помощь будет принята с благодарностью!

Answer 1

Это происходит потому, что ваша функция initiate_logger всегда возвращает корневой регистратор, так как вызывает getlogger без имени. См. документацию . Что вам нужно сделать, это дать каждому из них свое имя, если вы хотите, чтобы они были разными экземплярами регистратора. например logger = logging.getLogger(log_file_name) будет работать в вашем коде. Я бы рекомендовал вместо этого использовать filters .