Данные тестирования качества

Question

Есть ли у кого рекомендации по тестированию качества данных. Представьте, что вы подготовили данные в одном формате и выполнили процесс, чтобы перевести их в нормализованный формат отношений в другой базе данных. Я хотел бы создать кучу тестов, которые могут быть выполнены для проверки качества данных. У кого-нибудь есть рекомендации относительно инструментов и методов? Это нацелено на SQL Server.

С уважением.

Answer 1

использовать команды DBCC. например

dbcc checkconstraints

может проверить целостность указанного ограничения или всех ограничений указанной таблицы в текущей базе данных.

DBCC CHECKDB - Обеспечивает правильную связь таблиц в БД и индексах.

см. ссылку .

Answer 2

Разве целевая база данных "нормализованный формат отношений" не будет проверкой сама по себе? Ограничения NOT NULL, FK, UNIQUE, CHECK и т. Д. Сами по себе улавливают множество проблем.

Я бы предложил написать запросы для поиска отсутствующих или проблемных данных, и это полностью зависит от ваших таблиц и бизнес-логики.

РЕДАКТИРОВАТЬ после ОП комментария

За прошедшие годы я сделал несколько крупных преобразований, и я просто сделал несколько хранимых процедур, каждая из которых импортирует отдельную группу связанных таблиц и просматривает данные в них. Я обычно выводю кучу информации для каждой ошибки в данных в журнальные таблицы и продолжаю подсчитывать итоги для каждого вида ошибок данных (несоответствующие данные, которые были отклонены). Я бы работал с заказчиком над тем, как обрабатывать отклоненные данные. Возможно жесткая кодовая логика, чтобы данные соответствовали новым таблицам и т. Д. Я бы не стал беспокоиться о тестировании данных, а просто оформил процесс импорта и сообщил о проблемах. Если количество проблем (отклонений) невелико и приемлемо, все готово. Если нет, вы можете продолжать настраивать процесс импорта, пока не произойдет только приемлемое количество отклонений.