Почему при фиксации сеанса SQLAlchemy мой код кажется остановленным (после создания таблицы?)? - PullRequest
Новая
       9

Почему при фиксации сеанса SQLAlchemy мой код кажется остановленным (после создания таблицы?)?

0 голосов
/ 12 июля 2019

Я пишу модуль для записи материала в базу данных, используя SQLAlchemy (SQLAlchemy == 1.3.5) и Python 3.6.8.

Я пытаюсь добавить журнал в таблицу.

Если таблица не существует, я улавливаю ошибку «Таблица не существует», а затем создаю таблицу (которая работает нормально).

Проблема в том, что происходит сбой, когда я пытаюсь добавить тот же элемент в сеанс. Кажется, «коммит» заставляет его просто остановиться.

Я пытался использовать исключение 'exc.NoSuchTableError', но это, похоже, не указывало на то, что таблица не существует. Я также пробовал различные комбинации использования просто flush или просто commit, но результаты были такими же, как в выводе.

У меня есть отдельный файл test.py, содержащий: 

#!/usr/bin/env python

import ail

add_to_log = ail.add_to_log(
    tool='ansible',
    component='system management',
    level=6,
    description="This is a test message!",
)

Модуль ail.py: 

#!/usr/bin/env python

import sqlalchemy as db
from sqlalchemy import exc
from sqlalchemy.orm import sessionmaker
from sqlalchemy.orm import relationship
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy_filters import apply_filters

import pprint
import time
import re

def add_to_log(tool, component, description, level=6):
    """

        Add an entry to the 'logs' table.

        E.g: add_to_log = log.add_to_log(
                 tool='cims_import.py',
                 component='database',
                 level=6,
                 description="The CIMS import script was unable to access the CIMS database.",
             )

    :param tool: Tool the log item is for, e.g.: cims, spectrum, capm, nfa, etc.
    :param component: The component the log relates to, e.g.: 'api', 'ssh' or 'backups'
    :param level: 0=Emergency, 1=Alert, 2=Critical, 3=Error, 4=Warning, 5=Notice, 6=Informational, 7=Debug
    :param description: Description of event added to the logs.
    :return: dictionary containing results, e.g.: {'action': 'added'}
             In the event of an error, a dict containing {'error': '<error_description>'} will be returned.
    """

    try:

        # Try to add log item to the 'logs' table:
        logged_item = Log(
            tool=tool,
            component=component,
            level=level,
            description=description,
        )
        s2s.add(logged_item)
        s2s.commit()
        return {'action': 'added'}

    except exc.SQLAlchemyError as e:

        print("First attempt failed, creating database!")

        # Unable to add the log item:
        if re.search(r"Table '.*' doesn't exist", str(e)):

            print("Table issue")
            # The 'logs' table does not exist - try to create a new one:
            try:
                Base.metadata.tables["logs"].create(bind=s2)
            except exc.SQLAlchemyError as e:
                return {'error': e}
            else:
                print("Table success")
                try:
                    print("Try add item again")
                    # Try to add the log item again:
                    logged_item = Log(
                        tool=tool,
                        component=component,
                        level=level,
                        description=description
                    )
                    print("going to add")
                    s2s.add(logged_item)
                    print("going to commit")
                    s2s.commit()
                    print("committed!")
                    return {'action': 'added'}

                except exc.SQLAlchemyError as e:
                    return {'error': e}

        else:

            return {'error': e}


s2 = db.create_engine(
    'mysql+mysqlconnector://user:password@server:port/s2db', pool_recycle=3600, echo=True)

session = sessionmaker()
session.configure(bind=s2)
s2s = session()
Base = declarative_base()

class Log(Base):

    __tablename__ = 'logs'
    id = db.Column(db.Integer(), primary_key=True, unique=True)
    tool = db.Column(db.String(32), nullable=False)
    component = db.Column(db.String(32), nullable=False)
    level = db.Column(db.Integer(), default=0, nullable=False)
    description = db.Column(db.String(256), nullable=False)
    created = db.Column(db.DateTime(), server_default=db.func.now())

Я проверяю, что таблица 'logs' не существует в БД, и запускаю ее:

Вход в первый запуск: 

(venv) [user@server venv]$ ./test.py 
2019-07-11 23:40:32,608 INFO sqlalchemy.engine.base.Engine SHOW VARIABLES LIKE 'sql_mode'
2019-07-11 23:40:32,608 INFO sqlalchemy.engine.base.Engine {}
2019-07-11 23:40:32,611 INFO sqlalchemy.engine.base.Engine SHOW VARIABLES LIKE 'lower_case_table_names'
2019-07-11 23:40:32,611 INFO sqlalchemy.engine.base.Engine {}
2019-07-11 23:40:32,613 INFO sqlalchemy.engine.base.Engine SELECT DATABASE()
2019-07-11 23:40:32,613 INFO sqlalchemy.engine.base.Engine {}
2019-07-11 23:40:32,614 INFO sqlalchemy.engine.base.Engine SELECT CAST('test plain returns' AS CHAR(60)) AS anon_1
2019-07-11 23:40:32,614 INFO sqlalchemy.engine.base.Engine {}
2019-07-11 23:40:32,615 INFO sqlalchemy.engine.base.Engine SELECT CAST('test unicode returns' AS CHAR(60)) AS anon_1
2019-07-11 23:40:32,615 INFO sqlalchemy.engine.base.Engine {}
2019-07-11 23:40:32,616 INFO sqlalchemy.engine.base.Engine BEGIN (implicit)
2019-07-11 23:40:32,618 INFO sqlalchemy.engine.base.Engine INSERT INTO logs (tool, component, level, description) VALUES (%(tool)s, %(component)s, %(level)s, %(description)s)
2019-07-11 23:40:32,618 INFO sqlalchemy.engine.base.Engine {'tool': 'ansible', 'component': 'system management', 'level': 6, 'description': 'This is a test message!'}
2019-07-11 23:40:32,628 INFO sqlalchemy.engine.base.Engine ROLLBACK
First attempt failed, creating database!
Table issue
2019-07-11 23:40:32,688 INFO sqlalchemy.engine.base.Engine 
CREATE TABLE logs (
        id INTEGER NOT NULL AUTO_INCREMENT, 
        tool VARCHAR(32) NOT NULL, 
        component VARCHAR(32) NOT NULL, 
        level INTEGER NOT NULL, 
        description VARCHAR(256) NOT NULL, 
        created DATETIME DEFAULT now(), 
        PRIMARY KEY (id), 
        UNIQUE (id)
)


2019-07-11 23:40:32,688 INFO sqlalchemy.engine.base.Engine {}
2019-07-11 23:40:33,034 INFO sqlalchemy.engine.base.Engine COMMIT
Table success
Try add item again
going to add
going to commit
(venv) [user@server venv]$

Так почему же он не фиксирует и даже не помещает дополнительные сообщения об ошибках после 'собирается зафиксировать'?

Таким образом, на этом этапе сама таблица была создана, но запись в журнале отсутствует.

Если я запускаю его снова (с созданной таблицей) любое количество раз, когда он работает нормально: 

(venv) [user@server venv]$ test.py
2019-07-11 23:42:45,144 INFO sqlalchemy.engine.base.Engine SHOW VARIABLES LIKE 'sql_mode'
2019-07-11 23:42:45,144 INFO sqlalchemy.engine.base.Engine {}
2019-07-11 23:42:45,149 INFO sqlalchemy.engine.base.Engine SHOW VARIABLES LIKE 'lower_case_table_names'
2019-07-11 23:42:45,149 INFO sqlalchemy.engine.base.Engine {}
2019-07-11 23:42:45,153 INFO sqlalchemy.engine.base.Engine SELECT DATABASE()
2019-07-11 23:42:45,153 INFO sqlalchemy.engine.base.Engine {}
2019-07-11 23:42:45,155 INFO sqlalchemy.engine.base.Engine SELECT CAST('test plain returns' AS CHAR(60)) AS anon_1
2019-07-11 23:42:45,155 INFO sqlalchemy.engine.base.Engine {}
2019-07-11 23:42:45,156 INFO sqlalchemy.engine.base.Engine SELECT CAST('test unicode returns' AS CHAR(60)) AS anon_1
2019-07-11 23:42:45,157 INFO sqlalchemy.engine.base.Engine {}
2019-07-11 23:42:45,158 INFO sqlalchemy.engine.base.Engine BEGIN (implicit)
2019-07-11 23:42:45,161 INFO sqlalchemy.engine.base.Engine INSERT INTO logs (tool, component, level, description) VALUES (%(tool)s, %(component)s, %(level)s, %(description)s)
2019-07-11 23:42:45,161 INFO sqlalchemy.engine.base.Engine {'tool': 'ansible', 'component': 'system management', 'level': 6, 'description': 'This is a test message!'}
2019-07-11 23:42:45,164 INFO sqlalchemy.engine.base.Engine COMMIT
(venv) [user@server venv]$

Это почти как если бы создание таблицы вмешивалось в сеанс (s2s).

Может кто-нибудь предложить какой-либо совет / помощь относительно того, почему это происходит?

1 Ответ

0 голосов
/ 12 июля 2019

Хорошо, поэтому я посмотрел видео на YouTube, и когда они упомянули об откате, я подумал, что мне нужно откатиться, но кажется, что сеанс не предназначен для того, чтобы управлять ими всеми (по крайней мере, это не похоже на он предназначен для - из моих ограниченных знаний - только начался с SQLAlchemy на этой неделе!).

Похоже, что лучше создавать и закрывать сессии. Кажется, это сработало для меня:

Я удалил настройку сеанса в глобальной области и просто заменил 2 блока «добавить элемент журнала в базу данных» на: 

                # NOTE: setup new session:
                s2s = session()
                logged_item = Log(
                    tool=tool,
                    component=component,
                    level=level,
                    description=description
                )
                print("going to add")
                s2s.add(logged_item)
                print("going to commit")
                s2s.commit()
                print("committed!")
                # NOTE: close session:
                s2s.close()
                return {'action': 'added'}

Результат: 

(venv) [user@server venv]$ ./test.py 
2019-07-11 23:58:44,259 INFO sqlalchemy.engine.base.Engine SHOW VARIABLES LIKE 'sql_mode'
2019-07-11 23:58:44,259 INFO sqlalchemy.engine.base.Engine {}
2019-07-11 23:58:44,264 INFO sqlalchemy.engine.base.Engine SHOW VARIABLES LIKE 'lower_case_table_names'
2019-07-11 23:58:44,264 INFO sqlalchemy.engine.base.Engine {}
2019-07-11 23:58:44,268 INFO sqlalchemy.engine.base.Engine SELECT DATABASE()
2019-07-11 23:58:44,268 INFO sqlalchemy.engine.base.Engine {}
2019-07-11 23:58:44,270 INFO sqlalchemy.engine.base.Engine SELECT CAST('test plain returns' AS CHAR(60)) AS anon_1
2019-07-11 23:58:44,270 INFO sqlalchemy.engine.base.Engine {}
2019-07-11 23:58:44,272 INFO sqlalchemy.engine.base.Engine SELECT CAST('test unicode returns' AS CHAR(60)) AS anon_1
2019-07-11 23:58:44,272 INFO sqlalchemy.engine.base.Engine {}
2019-07-11 23:58:44,274 INFO sqlalchemy.engine.base.Engine BEGIN (implicit)
2019-07-11 23:58:44,276 INFO sqlalchemy.engine.base.Engine INSERT INTO logs (tool, component, level, description) VALUES (%(tool)s, %(component)s, %(level)s, %(description)s)
2019-07-11 23:58:44,277 INFO sqlalchemy.engine.base.Engine {'tool': 'ansible', 'component': 'system management', 'level': 6, 'description': 'This is a test message!'}
2019-07-11 23:58:44,278 INFO sqlalchemy.engine.base.Engine ROLLBACK
First attempt failed, creating database!
Table issue
2019-07-11 23:58:44,334 INFO sqlalchemy.engine.base.Engine 
CREATE TABLE logs (
        id INTEGER NOT NULL AUTO_INCREMENT, 
        tool VARCHAR(32) NOT NULL, 
        component VARCHAR(32) NOT NULL, 
        level INTEGER NOT NULL, 
        description VARCHAR(256) NOT NULL, 
        created DATETIME DEFAULT now(), 
        PRIMARY KEY (id), 
        UNIQUE (id)
)


2019-07-11 23:58:44,334 INFO sqlalchemy.engine.base.Engine {}
2019-07-11 23:58:44,368 INFO sqlalchemy.engine.base.Engine COMMIT
Table success
Try add item again
going to add
going to commit
2019-07-11 23:58:44,370 INFO sqlalchemy.engine.base.Engine BEGIN (implicit)
2019-07-11 23:58:44,370 INFO sqlalchemy.engine.base.Engine INSERT INTO logs (tool, component, level, description) VALUES (%(tool)s, %(component)s, %(level)s, %(description)s)
2019-07-11 23:58:44,371 INFO sqlalchemy.engine.base.Engine {'tool': 'ansible', 'component': 'system management', 'level': 6, 'description': 'This is a test message!'}
2019-07-11 23:58:44,374 INFO sqlalchemy.engine.base.Engine COMMIT
committed!
(venv) [user@server venv]$
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.

Нет похожих вопросов

...