Подсчитайте, сколько полей очищено и какие поля в SSIS

Question

Я выполняю упражнение, в котором мне нужно очистить данные из источника плоских файлов и записать их в свою базу данных. Мне уже удалось очистить все поля, используя некоторые правила качества данных для каждого поля, а также сгенерировать коды ошибок, которые я записываю в другую таблицу при нарушении правила.

Моя проблема в том, что для заключительного шага упражнения мне нужно сгенерировать графику Power BI, в которой она показывает, сколько полей было исправлено из источника и какие поля были очищены. Единственное, что я подумал, сравнивает таблицу БД с источником плоских файлов или, возможно, что-то делает с компонентами скрипта, но я не думаю, что это действительно хорошие решения.

Кто-нибудь сталкивался с этой проблемой? если бы кто-то мог указать мне информацию для чего-то подобного, это было бы здорово. Спасибо!

Answer 1

С точки зрения проектирования - установление ключа занимает центральное место перед началом очистки.

Использование может использовать производное преобразование столбца служб SSIS для создания бизнес-ключа, который представляет собой объединение доступных полей для создания уникального ключа с использованием FindString функция и строковые функции.

Как и в предыдущем шаге, добавьте столбец в промежуточную таблицу или используйте производный столбец (в зависимости от того, используете ли вы очистку для задач sql или ssis), чтобы указать, был ли он очищен или нет.

Answer 2

Если у меня возникла похожая проблема, я сделаю это в три этапа:

1. Импорт данных без какого-либо преобразования в промежуточную таблицу
2. Очистка данных и загрузка их в таблица назначения
3. Сравнение промежуточной таблицы и таблицы назначения для определения количества фиксированных значений.