MySQL удаляет повторяющиеся записи, но сохраняет последние

Question

У меня есть уникальные поля id и email.Письма дублируются.Я хочу сохранить только один адрес электронной почты для всех дубликатов, но с самой последней id (последней вставленной записью).

Как этого добиться?

Answer 1

Представьте, что ваша таблица test содержит следующие данные:

  select id, email
    from test;

ID                     EMAIL                
---------------------- -------------------- 
1                      aaa                  
2                      bbb                  
3                      ccc                  
4                      bbb                  
5                      ddd                  
6                      eee                  
7                      aaa                  
8                      aaa                  
9                      eee 

Итак, нам нужно найти все повторяющиеся электронные письма и удалить их все, кроме самого последнего идентификатора.
В этом случае aaa, bbb и eee повторяются, поэтому мы хотим удалить идентификаторы 1, 7, 2 и 6.

Для этого сначала нам нужно найти все повторяющиеся электронные письма:

      select email 
        from test
       group by email
      having count(*) > 1;

EMAIL                
-------------------- 
aaa                  
bbb                  
eee  

Затем из этого набора данных нам нужно найти последний идентификатор для каждого из этих повторяющихся электронных писем:

  select max(id) as lastId, email
    from test
   where email in (
              select email 
                from test
               group by email
              having count(*) > 1
       )
   group by email;

LASTID                 EMAIL                
---------------------- -------------------- 
8                      aaa                  
4                      bbb                  
9                      eee                                 

Наконец, теперь мы можем удалить все эти электронные письма с идентификатором меньше, чем LASTID. Итак, решение:

delete test
  from test
 inner join (
  select max(id) as lastId, email
    from test
   where email in (
              select email 
                from test
               group by email
              having count(*) > 1
       )
   group by email
) duplic on duplic.email = test.email
 where test.id < duplic.lastId;

У меня не установлен mySql на данный момент, но он должен работать

Обновление

Вышеупомянутое удаление работает, но я нашел более оптимизированную версию:

 delete test
   from test
  inner join (
     select max(id) as lastId, email
       from test
      group by email
     having count(*) > 1) duplic on duplic.email = test.email
  where test.id < duplic.lastId;

Вы можете видеть, что он удаляет самые старые дубликаты, то есть 1, 7, 2, 6:

select * from test;
+----+-------+
| id | email |
+----+-------+
|  3 | ccc   |
|  4 | bbb   |
|  5 | ddd   |
|  8 | aaa   |
|  9 | eee   |
+----+-------+

Другая версия, это удаление, предоставленное Рене Лимон

delete from test
 where id not in (
    select max(id)
      from test
     group by email)

Answer 2

Правильный путь

DELETE FROM `tablename` 
  WHERE id NOT IN (
    SELECT * FROM (
      SELECT MAX(id) FROM tablename 
        GROUP BY name
    ) 
  )

Answer 3

Попробуйте этот метод

DELETE t1 FROM test t1, test t2 
WHERE t1.id > t2.id AND t1.email = t2.email

Answer 4

Я должен сказать, что оптимизированная версия - это один приятный, элегантный кусок кода, и он работает как шарм, даже если сравнение выполняется для столбца DATETIME.Это то, что я использовал в своем сценарии, где я искал последнюю дату окончания контракта для каждого EmployeeID:

DELETE CurrentContractData
  FROM CurrentContractData
  INNER JOIN (
    SELECT
      EmployeeID,
      PeriodofPerformanceStartDate,
      max(PeriodofPerformanceEndDate) as lastDate,
      ContractID
    FROM CurrentContractData
    GROUP BY EmployeeID
    HAVING COUNT(*) > 1) Duplicate on Duplicate.EmployeeID = CurrentContractData.EmployeeID
    WHERE CurrentContractData.PeriodofPerformanceEndDate < Duplicate.lastDate;

Большое спасибо!