Удаление дубликатов в Access 2003

Question

У меня есть таблица Access 2003 с ~ 4000 записями, которая была сделана из 17 разных таблиц. Примерно половина этих записей является дубликатами. Не существует уникального идентифицирующего столбца (идентификатор, имя и т. Д.). Существует столбец id, который автоматически заполняется при объединении таблиц, что означает, что дубликаты не полностью идентичны (хотя этот столбец можно удалить, если это облегчит задачу).

Я использовал мастер запросов поиска дубликатов Access, который дает мне список дублированных записей, но не позволяет мне их удалять (серьезно, какой смысл использовать этот запрос, если я не могу их удалить?). Я попытался преобразовать сгенерированный запрос в запрос на удаление, но это изменило количество найденных строк. Я бы изменил sql вручную, но он немного выше меня и имеет длину 7 строк.

Кто-нибудь знает хороший способ избавиться от дубликатов?

Answer 1

Причина, по которой запрос поиска дубликатов не позволит вам удалить записи, заключается в том, что это в основном просто совокупный запрос, он подсчитывает количество найденных дубликатов и возвращает случаи, когда число превышает 1.

Учтите, что если вы сделали запрос на удаление, основанный на поиске дубликатов, он удалил бы все строки, имеющие дублирующиеся значения, что, возможно, не то, что вам нужно. Вы хотите удалить все, кроме одного из дубликатов.

Вы должны попытаться удалить все дубликаты записи, кроме одной, за исключением столбца идентификатора в вашем сравнении. Я предлагаю самый простой способ сделать это - сделать запрос рабочей таблицы ко всем уникальным значениям (Выбрать различимое поле 1, поле 2 ... из MyTable) вместо каждого поля , за исключением для поля ID, используя результаты в a, чтобы создать новую таблицу из приблизительно 2000 записей (если половина является дубликатами).

Затем создайте столбец идентификатора в новой таблице, используйте запрос на обновление, чтобы обновить этот идентификатор до первого соответствующего идентификатора в исходной таблице (вы можете сделать это, используя DLookup , , который будет вернуть первое значение EXPRESSION, где CRITERIA имеет значение true в DOMAIN ).

Функция DLookup () возвращает один значение из одного поля, даже если больше чем одна запись удовлетворяет критерии. Если ни одна запись не удовлетворяет критерии, или если домен не содержит записи, DLookup () возвращает ноль.

Поскольку вы идентифицируете первый соответствующий идентификатор на основе всех других полей, которые являются уникальными значениями, несопоставленные идентификаторы будут принадлежать дубликатам. Вы будете изменять отношение PK, идентифицируя первый соответствующий ключ с учетом набора уникальных полей. После этого вы должны установить идентификатор для PK. Конечно, это предполагает, что идентификатор не имеет внутреннего значения, и вам не нужно хранить один конкретный идентификатор для данной дублированной строки над любым из идентификаторов, принадлежащих другим дублированным строкам. Это предполагает, что вы заботитесь о данных в столбце идентификатора, поэтому вы хотите сохранить их для всех оставшихся строк, в противном случае просто проигнорируйте шаг DLookup и выполните команду «Выбрать различие» для всех столбцов, кроме идентификатора.

Answer 2

DELETE * FROM table_with_duplicates
WHERE table_with_duplicates.ID In 
    (SELECT max(ID) 
     FROM table_with_duplicates 
     GROUP BY [duplicated_field_1] 
     HAVING Count(*)>1
    )

Answer 3

Следующее сохранит оригинальные идентификаторы и сделает это за один шаг:

DELETE FROM table_with_duplicates 
WHERE table_with_duplicates.id NOT IN 
    (SELECT max(id) 
    FROM table_with_duplicates 
    GROUP BY duplicated_field_1, duplicated_field_2, ...
    )

Теперь у вас есть исходная таблица без дубликатов и сохраненных идентификаторов. И всегда не забывайте делать резервные копии ваших данных, прежде чем пытаться выполнить большие УДАЛЕНИЯ.

Answer 4

Используйте выбор со всеми столбцами, кроме столбца идентификатора:

SELECT DISTINCTROW Column1, Column2, Column3 
INTO MYNEWTABLE
FROM TABLE

Вы можете просто поменять имена.

Это решение даст вам новую таблицу без дубликатов.

Answer 5

На самом деле я нашел. Очень простое решение заняло какое-то время, но все ваши поля одинаковы, как полная дублирующаяся запись, затем просто сделайте один запрос с каждым полем и отсортируйте по «Группе BY». Таким образом, дубликаты будут объединены, и вы можете просто добавить эту информацию в новую таблицу и переименовать ее так же, как существующую таблицу. Если у вас есть поле первичного ключа, вы можете просто проигнорировать его в запросе, и тогда оно все равно объединит данные (при условии, что вам не нужны данные в первичном поле). Я не знаю, почему никто не упомянул, что это решение заняло у меня 5 часов. Придумать. :)