Поиск «дубликатов» строк, которые отличаются в одном столбце - PullRequest
Новая
       33

Поиск «дубликатов» строк, которые отличаются в одном столбце

2 голосов
/ 23 марта 2011

У меня есть таблица, подобная следующей в MySQL 5.1: 

+--------------+----------------+------+-----+---------+----------------+
| Field        | Type           | Null | Key | Default | Extra          |
+--------------+----------------+------+-----+---------+----------------+
| log_id       | int(11)        | NO   | PRI | NULL    | auto_increment |
| date         | datetime       | NO   | MUL | NULL    |                |
| date_millis  | int(3)         | NO   |     | NULL    |                |
| eib_address  | varchar(20)    | NO   |     | NULL    |                |
| ip_address   | varchar(15)    | NO   |     | NULL    |                |
| value        | decimal(20,10) | NO   | MUL | NULL    |                |
| application  | tinyint(4)     | NO   |     | NULL    |                |
| phys_address | varchar(20)    | NO   |     | NULL    |                |
| orig_log_id  | bigint(20)     | NO   |     | NULL    |                |
+--------------+----------------+------+-----+---------+----------------+

В этой таблице log_id и orig_log_id всегда уникальны. Впрочем, возможно, что две строки могут иметь повторяющиеся значения для любых других полей. Игнорируя поля *log_id, наша проблема в том, что две строки могут быть идентичными во всех других столбцах, но иметь разные значения для value. Я пытаюсь определить правильный запрос SQL, чтобы определить, когда две (или более) строки имеют одинаковые значения для date, date_millis и eib_address, но разные значения для value, log_id и orig_log_id , До сих пор мне удавалось придумать запрос, который завершает первый пункт в моем предыдущем предложении: 

SELECT main.* 
FROM sensors_log main
INNER JOIN 
    (SELECT date, date_millis, eib_address 
    FROM sensors_log 
    GROUP BY date, date_millis, eib_address 
    HAVING count(eib_address) > 1) dupes 
ON main.date = dupes.date 
    AND main.date_millis = dupes.date_millis 
    AND main.eib_address = dupes.eib_address;

Однако я не могу понять, когда value отличается. По крайней мере, я знаю, что простое добавление AND main.value != dupes.value в предложение ON не делает этого!

Ответы [ 2 ]

8 голосов
/ 23 марта 2011

Я думаю, что это немного проще, чем вы пытаетесь это сделать.Попробуйте это: 

SELECT *
  FROM SENSORS_LOG s1
  INNER JOIN SENSORS_LOG s2
    ON (s2.DATE = s1.DATE AND
        s2.DATE_MILLIS = s1.DATE_MILLIS AND
        s2.EIB_ADDRESS = s1.EIB_ADDRESS)
  WHERE s1.VALUE <> s2.VALUE OR
        s1.LOG_ID <> s2.LOG_ID OR
        s1.ORIG_LOG_ID <> s2.ORIG_LOG_ID;

Поделитесь и наслаждайтесь.

1 голос
/ 23 марта 2011

Может быть, я ошибся, но вы не можете просто выполнить COUNT, как это? 

SELECT date, date_millis, eib_address, count(*) as nr_dupes
FROM sensors_log
GROUP BY date, date_millis, eib_address
HAVING count(*) > 1

или 

SELECT date, date_millis, eib_address, 
       group_concat(value), group_concat(log_id), group_concat(orig_log_id)
FROM sensors_log
GROUP BY date, date_millis, eib_address
HAVING count(*) > 1
...