Зависит от того, насколько серьезно вы хотите узнать о дубликатах.Вам нужна запись о том, что было продублировано, или этого достаточно, чтобы просто избавиться от них?Компонент сортировки избавит от дублирования на поле сортировки.Однако у дупсов могут быть разные данные в других полях, и тогда вам нужна другая стратегия.Обычно я загружаю все в промежуточные столы и убираю оттуда.Я отправляю удаленные дубликаты в таблицу исключений (мы должны ответить на множество вопросов наших клиентов о том, почему вещи не соответствуют отправленным), и я часто использую набор бизнес-правил (и использую SQl или данные исполнениявыполнять задачи для обеспечения соблюдения правил), чтобы определить, какой из них выбрать, если в одной области есть дубликаты, но нет другой (скажем, два рабочих адреса, когда мы можем хранить только 1).Я также проверяю, знает ли клиент, как мы определяем, какой из двух вариантов выбрать.