Как удалить повторяющиеся строки из таблицы MySQL - PullRequest
Новая
       1

Как удалить повторяющиеся строки из таблицы MySQL

6 голосов
/ 24 апреля 2011

У меня есть MySQL таблица вроде: 

ID, Col1, Col2, Col3, Col4, etc...

ID является primary key и работает с момента создания таблицы.

Я хочу удалить все записи, кроме одной, где все остальные столбцы идентичны.

Ответы [ 8 ]

13 голосов
/ 24 апреля 2011 
DELETE DupRows.*
FROM MyTable AS DupRows
   INNER JOIN (
      SELECT MIN(ID) AS minId, col1, col2
      FROM MyTable
      GROUP BY col1, col2
      HAVING COUNT(*) > 1
   ) AS SaveRows ON SaveRows.col1 = DupRows.col1 AND SaveRows.col2 = DupRows.col2
      AND SaveRows.minId <> DupRows.ID;

Конечно, вы должны распространить col1, col2 во всех трех местах на все столбцы.

Редактировать: я только что извлек это из скрипта, который я храню и перепроверил, он выполняется в MySQL.

1 голос
/ 16 сентября 2014

Без вложенных выборок или временных таблиц.

DELETE  t1
FROM    table_name t1, table_name t2
WHERE   
            (t1.Col1 = t2.Col1 OR t1.Col1 IS NULL AND t2.Col1 IS NULL)
        AND (t1.Col2 = t2.Col2 OR t1.Col2 IS NULL AND t2.Col2 IS NULL)
        AND (t1.Col3 = t2.Col3 OR t1.Col3 IS NULL AND t2.Col3 IS NULL)
        AND (t1.Col4 = t2.Col4 OR t1.Col4 IS NULL AND t2.Col4 IS NULL)
        ...
        AND t1.ID < t2.ID;
1 голос
/ 23 июня 2014

  1. RENAME TABLE [table w/ duplicates] TO [temporary table name]

  2. Создание идентичной таблицы с исходным именем таблицы, содержащей дубликаты.

  3. INSERT INTO [new table] SELECT DISTINCT * FROM [old table with duplicates]

  4. Удалить временные таблицы.

0 голосов
/ 29 июня 2015

Вы можете выполнить запрос на изменение и добиться этого: 

ALTER IGNORE TABLE tbl_1
ADD UNIQUE INDEX unq_idx(col1, col2, col3);

Я не могу гарантировать, что он сохранит первую запись среди дубликатов, но MySQL обычно делает это.

0 голосов
/ 28 июня 2015

Вы можете попробовать это с помощью join: Вот так: 

DELETE e1 FROM emp_tbl AS e1 JOIN emp_tbl AS e2 WHERE 
e1.Col1=e2.Col1 AND e1.Col2=e2.Col2 AND e1.Col3=e2.Col3 AND e1.Col4=e2.Col4
AND e1.id < e2.id;
0 голосов
/ 24 апреля 2011

Вы можете удалить все строки, кроме одной, с помощью некоторой функции, такой как Min (зависит от дБ).Пример: 

delete from Table_Name
where Id not in
( select min(Id)
from  Table_Name
group by ID, Col1, Col2, Col3, Col4);
0 голосов
/ 24 апреля 2011

Вы также можете сделать это 

Create table new_table{id, col1,col2,col3}

insert into new_table values(select distinct * from old_table)

drop table old_table
0 голосов
/ 24 апреля 2011

Я бы сделал это следующим образом, в MSSQL, но я думаю, что он должен работать с небольшими изменениями в MySQL.Не исполняемый, но должен указывать путь. 

CREATE TEMPORARY TABLE #Table (Col1, Col2, Col3);
INSERT INTO #Table (Col1, Col2, Col3) SELECT DISTINCT Col1, Col2, Col3 FROM Table;
DELETE FROM Table;
INSERT INTO Table (Col1, Col2, Col3) SELECT Col1, Col2, Col3 FROM #Table;
DROP TABLE #Table;
...