Инструменты проверки данных (инструменты ETL) для сервера SQL

Question

У меня есть некоторые данные в Excel, и мне нужно импортировать их в базу данных. Есть ли инструмент, который может проверить и, возможно, очистить данные? Есть ли у Red Gate такой инструмент?

Ввод будет Excel. Данные ограничения таблицы, например. ПРОВЕРЬТЕ, УНИКАЛЬНЫЙ КЛЮЧ, формат даты и времени, НЕ ПУСТО. Вывод желания должен как минимум показывать, какие строки имеют проблемы, а затем автоматически исправлять некоторые тривиальные ошибки, такие как заполнение значения по умолчанию для столбцов NULL, автоматически корректировать формат даты и времени.

Я знаю, что с помощью Python можно создать такой скрипт. Но просто удивляйтесь, какой популярный способ сделать это. Спасибо.

Answer 1

Обычно вы загружаете промежуточную таблицу и выполняете проверку. Промежуточная таблица обычно содержит больше столбцов varchar, чем «настоящая» таблица, все обнуляемые, без ограничений и т. Д.

Пример поиска строк с дубликатами

SELECT COUNT(*), UniqueKey FROM StagingTable GROUP BY UniqueKey HAVING COUNT(*) > 1

Затем вы запускаете разные, не нулевые, проверяете код и т. Д. Один за другим

Затем, когда вы будете удовлетворены, вы загрузите реальный стол с вашего промежуточного стола.