регистрация Python в базе данных - PullRequest
Новая
       13

регистрация Python в базе данных

24 голосов
/ 23 февраля 2010

Я ищу способ позволить модулю регистрации Python войти в базу данных и вернуться к файловой системе, когда база данных отключена.

Итак, в основном 2 вещи: как разрешить регистратору регистрироваться в базе данных и как сделать так, чтобы он попадал в журналирование файлов, когда БД не работает.

Ответы [ 5 ]

16 голосов
/ 08 мая 2017

Боже ... прошло много времени, но недавно мне удалось написать собственный регистратор баз данных на Python. Так как я не смог найти ни одного примера, я решил опубликовать свой здесь. Может быть, кто-то найдет это полезным :) Работает с MS SQL.

Таблица базы данных может выглядеть следующим образом: 

CREATE TABLE [db_name].[log](
    [id] [bigint] IDENTITY(1,1) NOT NULL,
    [log_level] [int] NULL,
    [log_levelname] [char](32) NULL,
    [log] [char](2048) NOT NULL,
    [created_at] [datetime2](7) NOT NULL,
    [created_by] [char](32) NOT NULL,
) ON [PRIMARY]

Сам класс: 

class LogDBHandler(logging.Handler):
    '''
    Customized logging handler that puts logs to the database.
    pymssql required
    '''
    def __init__(self, sql_conn, sql_cursor, db_tbl_log):
        logging.Handler.__init__(self)
        self.sql_cursor = sql_cursor
        self.sql_conn = sql_conn
        self.db_tbl_log = db_tbl_log

    def emit(self, record):
        # Set current time
        tm = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(record.created))
        # Clear the log message so it can be put to db via sql (escape quotes)
        self.log_msg = record.msg
        self.log_msg = self.log_msg.strip()
        self.log_msg = self.log_msg.replace('\'', '\'\'')
        # Make the SQL insert
        sql = 'INSERT INTO ' + self.db_tbl_log + ' (log_level, ' + \
            'log_levelname, log, created_at, created_by) ' + \
            'VALUES (' + \
            ''   + str(record.levelno) + ', ' + \
            '\'' + str(record.levelname) + '\', ' + \
            '\'' + str(self.log_msg) + '\', ' + \
            '(convert(datetime2(7), \'' + tm + '\')), ' + \
            '\'' + str(record.name) + '\')'
        try:
            self.sql_cursor.execute(sql)
            self.sql_conn.commit()
        # If error - print it out on screen. Since DB is not working - there's
        # no point making a log about it to the database :)
        except pymssql.Error as e:
            print sql
            print 'CRITICAL DB ERROR! Logging to database not possible!'

И пример использования: 

import pymssql
import time
import logging

db_server = 'servername'
db_user = 'db_user'
db_password = 'db_pass'
db_dbname = 'db_name'
db_tbl_log = 'log'

log_file_path = 'C:\\Users\\Yourname\\Desktop\\test_log.txt'
log_error_level     = 'DEBUG'       # LOG error level (file)
log_to_db = True                    # LOG to database?

class LogDBHandler(logging.Handler):
    [...]

# Main settings for the database logging use
if (log_to_db):
    # Make the connection to database for the logger
    log_conn = pymssql.connect(db_server, db_user, db_password, db_dbname, 30)
    log_cursor = log_conn.cursor()
    logdb = LogDBHandler(log_conn, log_cursor, db_tbl_log)

# Set logger
logging.basicConfig(filename=log_file_path)

# Set db handler for root logger
if (log_to_db):
    logging.getLogger('').addHandler(logdb)
# Register MY_LOGGER
log = logging.getLogger('MY_LOGGER')
log.setLevel(log_error_level)

# Example variable
test_var = 'This is test message'

# Log the variable contents as an error
log.error('This error occurred: %s' % test_var)

Выше войдет как в базу данных, так и в файл. Если файл не нужен - пропустите строку 'logging.basicConfig (filename = log_file_path)'. Все, что зарегистрировано с помощью 'log' - будет зарегистрировано как MY_LOGGER. Если появляется какая-либо внешняя ошибка (например, в импортированном модуле или что-то в этом роде) - ошибка будет отображаться как «root», так как «root» также работает и использует обработчик базы данных.

14 голосов
/ 23 февраля 2010

Напишите себе обработчик , который направляет журналы в соответствующую базу данных. Если это не удается, вы можете удалить его из списка обработчиков регистратора. Есть много способов справиться с режимами сбоя.

4 голосов
/ 02 июня 2016

Вы видели библиотеку log4mongo? https://pypi.python.org/pypi/log4mongo/ Это обеспечивает ручку для Монго. Этого отступления нет, но я полагаю, его было бы относительно легко добавить.

2 голосов
/ 07 октября 2017

Я снова копаю.

Существует решение с SqlAlchemy ( Пирамида НЕ требуется для этого рецепта ):

https://docs.pylonsproject.org/projects/pyramid-cookbook/en/latest/logging/sqlalchemy_logger.html

И вы можете улучшить ведение журнала, добавив дополнительные поля, вот руководство: https://stackoverflow.com/a/17558764/1115187

Откат к FS

Не уверен, что это на 100% правильно, но вы можете иметь 2 обработчика:

  1. обработчик базы данных (запись в БД)
  2. обработчик файла (запись в файл или поток)

Просто оберните DB-commit try-except. Но имейте в виду: файл будет содержать ВСЕ записи журнала, а не только записи, для которых сохранение БД не удалось.

1 голос
/ 07 октября 2017

Старый вопрос, но отбросить это для других. Если вы хотите использовать регистрацию Python, вы можете добавить два обработчика. Один для записи в файл, вращающийся обработчик файлов. Это надежно и может быть сделано независимо от того, повышен дБ или нет. Другой может писать в другой сервис / модуль, как интеграция с pymongo.

Посмотрите в logging.config, как настроить ваши обработчики из кода или json.

...