Есть ли инструмент для проверки целостности базы данных в Django?

Question

В базе данных MySQL для нашего сайта Django возникли проблемы с целостностью; например внешние ключи, которые ссылаются на несуществующие строки. Я не буду вдаваться в подробности того, как мы попали в этот беспорядок, но сейчас я смотрю, как это исправить.

В основном, Я ищу скрипт, который сканирует все модели на сайте Django и проверяет, все ли внешние ключи и другие ограничения верны . Надеемся, что количество проблем будет достаточно маленьким, поэтому их можно исправить вручную.

Я мог бы написать это сам, но я надеюсь, что у кого-то здесь есть идея получше.

Я нашел django-check-constraints , но это не совсем соответствует требованиям: сейчас мне не нужно что-то для предотвращения этих проблем, но чтобы найти их, чтобы их можно было исправить вручную прежде чем предпринять другие шаги.

Другие ограничения:

• Django 1.1.1 и обновление было решено сломать вещи
• MySQL 5.0.51 (Debian Lenny), в настоящее время с MyISAM таблиц
• Python 2.5, возможно, может быть обновлен, но я бы не хотел прямо сейчас

(Позже мы конвертируем в InnoDB для надлежащей поддержки транзакций и, возможно, ограничения внешнего ключа на уровне базы данных, чтобы предотвратить подобные проблемы в будущем. Но это не тема этого вопроса.)

Answer 1

Я что-то взбил сам.Сценарий управления ниже должен быть сохранен в myapp/management/commands/checkdb.py.Убедитесь, что в промежуточных каталогах есть файл __init__.py.

Использование: ./manage.py checkdb для полной проверки;используйте --exclude app.Model или -e app.Model, чтобы исключить модель Model в приложении app.

from django.core.management.base import BaseCommand, CommandError
from django.core.management.base import NoArgsCommand
from django.core.exceptions import ObjectDoesNotExist
from django.db import models
from optparse import make_option
from lib.progress import with_progress_meter

def model_name(model):
    return '%s.%s' % (model._meta.app_label, model._meta.object_name)

class Command(BaseCommand):
    args = '[-e|--exclude app_name.ModelName]'
    help = 'Checks constraints in the database and reports violations on stdout'

    option_list = NoArgsCommand.option_list + (
        make_option('-e', '--exclude', action='append', type='string', dest='exclude'),
    )

    def handle(self, *args, **options):
        # TODO once we're on Django 1.2, write to self.stdout and self.stderr instead of plain print

        exclude = options.get('exclude', None) or []

        failed_instance_count = 0
        failed_model_count = 0
        for app in models.get_apps():
            for model in models.get_models(app):
                if model_name(model) in exclude:
                    print 'Skipping model %s' % model_name(model)
                    continue
                fail_count = self.check_model(app, model)
                if fail_count > 0:
                    failed_model_count += 1
                    failed_instance_count += fail_count
        print 'Detected %d errors in %d models' % (failed_instance_count, failed_model_count)

    def check_model(self, app, model):
        meta = model._meta
        if meta.proxy:
            print 'WARNING: proxy models not currently supported; ignored'
            return

        # Define all the checks we can do; they return True if they are ok,
        # False if not (and print a message to stdout)
        def check_foreign_key(model, field):
            foreign_model = field.related.parent_model
            def check_instance(instance):
                try:
                    # name: name of the attribute containing the model instance (e.g. 'user')
                    # attname: name of the attribute containing the id (e.g. 'user_id')
                    getattr(instance, field.name)
                    return True
                except ObjectDoesNotExist:
                    print '%s with pk %s refers via field %s to nonexistent %s with pk %s' % \
                        (model_name(model), str(instance.pk), field.name, model_name(foreign_model), getattr(instance, field.attname))
            return check_instance

        # Make a list of checks to run on each model instance
        checks = []
        for field in meta.local_fields + meta.local_many_to_many + meta.virtual_fields:
            if isinstance(field, models.ForeignKey):
                checks.append(check_foreign_key(model, field))

        # Run all checks
        fail_count = 0
        if checks:
            for instance in with_progress_meter(model.objects.all(), model.objects.count(), 'Checking model %s ...' % model_name(model)):
                for check in checks:
                    if not check(instance):
                        fail_count += 1
        return fail_count

Я делаю это вики-сообществом, потому что приветствую любые и все улучшения моего кода!

Answer 2

Томас ответил отлично, но сейчас немного устарел.Я обновил его как сущность , чтобы поддержать Django 1.8 +.