Исправить повторяющиеся записи в таблице - PullRequest
Новая
       16

Исправить повторяющиеся записи в таблице

2 голосов
/ 13 декабря 2011

Я только что обнаружил, что таблица на моем производственном сервере (которая содержит приблизительно 35 тыс. Записей) содержит 588 повторяющихся записей в столбце INT (11), который имеет AUTO_INCREMENT.Ключ UNIQUE отсутствует в этом столбце, поэтому, вероятно, это и есть причина.

Есть идеи, как дать всем дублирующимся записям уникальный идентификатор, а затем добавить ключ UNIQUE в столбец, чтобы это больше никогда не повторилось?

Схема таблицы: 

CREATE TABLE `items` (
 `item_ID` int(11) unsigned NOT NULL auto_increment,
 `u_ID` int(10) NOT NULL default '0',
 `user_ID` int(11) NOT NULL default '0',
 `p_ID` tinyint(4) NOT NULL default '0',
 `url` varchar(255) NOT NULL,
 `used` int(10) unsigned NOT NULL,
 `sort` tinyint(4) NOT NULL,
 `last_checked` int(11) NOT NULL,
 `unixtime` int(11) NOT NULL,
 `switched` int(11) NOT NULL,
 `active` tinyint(1) NOT NULL default '0',
 UNIQUE KEY `unique` (`p_ID`,`url`),
 KEY `index` (`u_ID`,`item_ID`,`sort`,`active`),
 KEY `index2` (`u_ID`,`switched`,`active`),
 KEY `item_ID` (`item_ID`),
 KEY `p_ID` (`p_ID`),
 KEY `u_ID` (`u_ID`)
) ENGINE=MyISAM AUTO_INCREMENT=42755 DEFAULT CHARSET=utf8

Ответы [ 3 ]

2 голосов
/ 13 декабря 2011

Как насчет этого?Снова проверьте его в резервной копии. 

# Copy duplicate records
CREATE TABLE newitem SELECT * FROM items WHERE item_ID IN 
    (SELECT item_ID FROM itemd GROUP BY item_ID HAVING COUNT(*) > 1);

# remove auto increment from id in new table
ALTER TABLE newitem DROP INDEX Item_ID, MODIFY item_ID int;

# delete duplicates from original
DELETE FROM item WHERE item_ID IN (SELECT DISTINCT item_ID FROM newitem);

#Update column to be primary key
ALTER TABLE items DROP INDEX Item_ID, ADD PRIMARY KEY (Item_ID);

# Set new duplicate ID's to null
UPDATE newitem SET item_ID=NULL;

# Insert records back into old table
INSERT INTO item SELECT * FROM newitem;

# Get rid of work table
DROP newitem;
2 голосов
/ 13 декабря 2011

Поскольку у вас уже есть ключ UNIQUE в таблице, вы можете использовать его для создания оператора UPDATE, который повторно присваивает уникальные идентификаторы item_id: 

UPDATE
        items AS it
    JOIN
        ( SELECT 
              i.p_ID, i.url, @id:= @id+1 AS id
          FROM 
                  items AS i  
              CROSS JOIN 
                  ( SELECT @id:=0 ) AS dummy
          ORDER BY
              i.p_ID, i.url
        ) AS unq
      ON 
      (unq.p_ID, unq.url) = (it.p_ID, it.url)
SET 
    it.item_id = unq.id ;

. Затем вы можетедобавить уникальный индекс на item_id

1 голос
/ 13 декабря 2011

Интересно.У вас есть auto_increment без ссылки на первичный ключ, просто индекс, поэтому в первую очередь у вас есть дуплексы.Если вы попытаетесь обновить и назначить primary key (item_ID), MySQL будет жаловаться из-за ошибок в столбце item_ID.

Ваш движок - MyISAM, что означает, что у вас нет ограничений FK, поэтому вы можете выполнить mysqldump изтаблицу, обрежьте таблицу, обновите схему, а затем повторно импортируйте данные.После повторного импорта MySQL должен правильно вставить все строки с действительно уникальными Item_Ids.

Я опишу шаги здесь, но я настоятельно рекомендую вам сделать это в среде разработчика, чтобы убедиться, что шаги работают правильно,перед применением в вашей производственной среде .Я не несу никакой ответственности за производственные данные:) 

$ mysqldump -u <user_name> -h <db_host> --opt <database_name> --single-transaction > backup.sql

mysql> truncate table `items`;

mysql> ALTER TABLE `items` DROP INDEX `Item_ID`, ADD PRIMARY KEY (`item_ID`), AUTO_INCREMENT = 1;

$ vi backup.sql # Remove the AUTO_INCREMENT reference from the Create Table syntax

$ mysql -h <host_name> <db_name> -u <username> -p < backup.sql

Скажем, эти шаги не проверены, но должны указать правильный путь.

...