Удаление каскада SQLAlchemy на автоматизированной схеме универсальной модели данных - PullRequest
Новая
       32

Удаление каскада SQLAlchemy на автоматизированной схеме универсальной модели данных

0 голосов
/ 06 февраля 2019

У меня есть предопределенная база данных PostgreSQL из установки OfBiz.База данных имеет множество компонентов внешнего ключа.Я пытаюсь написать программу на Python для копирования данных из рабочей базы данных в промежуточные или разрабатываемые базы данных.

Последний шаг - очистить некоторые личные данные из моего набора данных, которые не должны быть видны разработчикам..

У меня настроено отражение следующим образом: 

def reflectSourceTables():
     global Base
     Base = automap_base(metadata = smeta)
     global baseNum
     baseNum = 0
     Base.prepare(name_for_collection_relationship=_name_for_collection_relationship, name_for_scalar_relationship=_name_for_scalar_relationship, generate_relationship=_generate_relationship)

Отражение настроено следующим образом 

def _name_for_scalar_relationship(base, local_cls, referred_cls, constraint):
    global baseNum
    if constraint.name:
        baseNum += 1
        disc = '_'.join(col.name for col in constraint.columns)
        return referred_cls.__name__.lower() + '.' + disc + "_scalar_" + str(baseNum)
    # if this didn't work, revert to the default behavior
    return name_for_scalar_relationship(base, local_cls, referred_cls, constraint)

def _name_for_collection_relationship(base, local_cls, referred_cls, constraint):
    global baseNum
    if constraint.name:
        baseNum += 1

        disc = '_'.join(col.name for col in constraint.columns)
        return referred_cls.__name__.lower() + '.' + disc + "_collection_" + str(baseNum)

    # if this didn't work, revert to the default behavior
    return name_for_collection_relationship(base, local_cls, referred_cls, constraint)

def _generate_relationship(base, direction, return_fn, attrname, local_cls, referred_cls, **kw):

    if direction is interfaces.ONETOMANY:
        kw['cascade'] = 'all, delete-orphan'
        kw['passive_deletes'] = True

    return generate_relationship(base, direction, return_fn, attrname, local_cls, referred_cls, **kw)

Я вижу взаимосвязь между таблицами.со следующим кодом: 

def getTableList(smeta):
    tableList = []
    if args.tables:
        ##Validate tables are in database
        for table in args.tables:
            if smeta.tables[table] in smeta.sorted_tables:
                tableList.append(str(smeta.tables[table]))
            else:
                log('Table {0} does not exist on source'.format(table))
    else:
        tableList = smeta.sorted_tables

    if args.tables:
        for table in tableList:

            for relationship in getattr(Base.classes,str(table)).__mapper__.relationships:
                #print(relationship)
                tableName = re.search(r'\.(.*)\.', str(relationship)).group(1)
                if tableName and tableName not in tableList:
                    tableList.append(tableName)

    return tableList

Но я надеялся, что код удаления: 

def cleanData():
    log("Clean Data")
    destSession = sessionmaker()
    destSess = destSession(bind=db2)

    for partyId in partyIds:
        log("Cleaning data for {0}".format(partyId))
        voucher = Base.classes.voucher
        invoice = Base.classes.invoice
        voucherDelete = destSess.query(voucher).filter_by(party_id=partyId)
        voucherDelete.delete(synchronize_session=False)
        invoiceDelete = destSess.query(invoice).filter_by(party_id_from=partyId)
        invoiceDelete.delete(synchronize_session=False)
        destSess.commit()

Удаление удаляет ваучеры и счета-фактуры, но не удаляет дочерние записи invoice_item.

В настройках моей базы данных нет функции каскадного удаления внешних ключей, но я надеялся, что ORM предоставит эту функциональность.

В идеале этот код удалял бы дочерние элементы ваучера илиСчет-фактура.

Редактировать

Новая генерация отношений выглядит следующим образом: 

def _generate_relationship(base, direction, return_fn, attrname, local_cls, referred_cls, **kw):
## Write this to include cascade delete see: https://docs.sqlalchemy.org/en/latest/orm/extensions/automap.html#custom-relationship-arguments
if direction is interfaces.ONETOMANY or direction is interfaces.MANYTOMANY:
    kw['cascade'] = 'all, delete, delete-orphan'
    kw['passive_deletes'] = False

if direction is interfaces.MANYTOONE:
    kw['viewonly'] = True

return generate_relationship(base, direction, return_fn, attrname, local_cls, referred_cls, **kw)

Удалить код изменен на: 

voucher = Base.classes.voucher
    invoice = Base.classes.invoice
    invoiceDelete = destSess.query(invoice).filter_by(party_id_from=partyId)
    rs = invoiceDelete.all()
    for result in rs:
        destSess.delete(result)
    voucherDelete = destSess.query(voucher).filter_by(party_id=partyId)
    rs = voucherDelete.all()
    for result in rs:
        destSess.delete(result)
    destSess.commit()

Это приводит к следующемуошибка: 

sqlalchemy.exc.IntegrityError: (psycopg2.IntegrityError) update or delete on table "invoice_item" violates foreign key constraint "invoice_imat_itm" on table "invoice_item_attribute"
DETAIL:  Key (invoice_id, invoice_item_seq_id)=(19439, 00001) is still referenced from table "invoice_item_attribute".
 [SQL: 'DELETE FROM invoice_item WHERE invoice_item.invoice_id = %(invoice_id)s AND invoice_item.invoice_item_seq_id = %(invoice_item_seq_id)s'] [parameters: ({'invoice_id': '19439', 'invoice_item_seq_id': '00001'}, {'invoice_id': '33674', 'invoice_item_seq_id': '00001'}, {'invoice_id': '49384', 'invoice_item_seq_id': '00001'}, {'invoice_id': '58135', 'invoice_item_seq_id': '00001'}, {'invoice_id': '83457', 'invoice_item_seq_id': '00001'})] (Background on this error at: http://sqlalche.me/e/gkpj)

1 Ответ

0 голосов
/ 12 февраля 2019

Следующая конфигурация позволила мне удалить дочерние записи Ваучеров и Счетов в моей базе данных.

Автоматическое отображение отношений настроено следующим образом: 

def _generate_relationship(base, direction, return_fn, attrname, local_cls, referred_cls, **kw):
    ## Write this to include cascade delete see: https://docs.sqlalchemy.org/en/latest/orm/extensions/automap.html#custom-relationship-arguments
    if direction is interfaces.ONETOMANY:
        kw['cascade'] = 'all, delete, delete-orphan'
        kw['passive_deletes'] = False
        kw['lazy'] = 'immediate'
    if direction is interfaces.MANYTOONE or direction is interfaces.MANYTOMANY:
        kw['viewonly'] = True

    return generate_relationship(base, direction, return_fn, attrname, local_cls, referred_cls, **kw)

Код удаления: 

def cleanData():
    for partyId in partyIds:
        log("Cleaning data for {0}".format(partyId))

        invoice = Base.classes.invoice
        invoiceDelete = destSess.query(invoice).filter_by(party_id_from=partyId)
        rs = invoiceDelete.all()
        for result in rs:
            deleteChildren(result, destSess)
            destSess.delete(result)
        destSess.commit()

        voucher = Base.classes.voucher
        voucherDelete = destSess.query(voucher).filter_by(party_id=partyId)
        rs = voucherDelete.all()
        for result in rs:
            deleteChildren(result, destSess)        
            destSess.delete(result)

        destSess.commit()

def deleteChildren(result, destSess):
    for relationship in result.__mapper__.relationships:
        if relationship.direction is interfaces.ONETOMANY:
            childs = getattr(result, str(re.search(r'\.(.*)', str(relationship)).group(1)))
            for child in childs:
                if child.__mapper__.relationships:
                    deleteChildren(child, destSess)
                    destSess.commit()
                destSess.delete(child)
                destSess.commit()

Чтобы объяснить, я получаю записи, связанные с идентификатором моей вечеринки, которые я хочу удалить из базы данных, и, используя рекурсивный метод, получаю детей из моих определенных отношений, используя нетерпеливую выборку.Если у этой дочерней записи есть дети, я вызываю тот же метод.Когда у меня заканчиваются отношения «один ко многим», я удаляю запись и возвращаюсь к ее родителю, удаляя также и эту запись.

...