Если добавление первичного ключа не является опцией, то одним из подходов будет сохранение дубликатов DISTINCT во временной таблице, удаление всех дублированных записей из существующей таблицы, а затем добавление записей обратно в исходную таблицу из временная таблица.
Например (написано для SQL Server 2008, но метод одинаков для любой базы данных):
DECLARE @original AS TABLE([hash] varchar(20), [d] float)
INSERT INTO @original VALUES('A', 1)
INSERT INTO @original VALUES('A', 2)
INSERT INTO @original VALUES('A', 1)
INSERT INTO @original VALUES('B', 1)
INSERT INTO @original VALUES('C', 1)
INSERT INTO @original VALUES('C', 1)
DECLARE @temp AS TABLE([hash] varchar(20), [d] float)
INSERT INTO @temp
SELECT [hash], [d] FROM @original
GROUP BY [hash], [d]
HAVING COUNT(*) > 1
DELETE O
FROM @original O
JOIN @temp T ON T.[hash] = O.[hash] AND T.[d] = O.[d]
INSERT INTO @original
SELECT [hash], [d] FROM @temp
SELECT * FROM @original
Я не уверен, что в sqlite есть функция типа ROW_NUMBER()
, но если это так, вы также можете попробовать некоторые из перечисленных здесь подходов: Удалить дублирующиеся записи из таблицы SQL без первичного ключа