быстрое сравнение списка с самим собой

Question

В моей базе данных есть гигантский список (100 тыс. Записей).Каждая запись содержит идентификатор, текст и дату.

Я создал функцию для сравнения двух текстов, насколько это возможно.Как это выглядит сейчас не нужно.

Есть ли "хороший" способ удалить "дубликаты" (насколько это возможно) из списка по тексту?В настоящее время я перебираю список дважды и сравниваю каждую запись с каждой записью, кроме себя по id.

Answer 1

Если ваш вопрос - когда вы вставляете строку в таблицу ... вы можете включить уникальное ограничение.

Postgresql CREATE TABLE table1 (id serial PRIMARY KEY, txt VARCHAR (50), dt timestamp,UNIQUE (txt));

Oracle CREATE TABLE table1 (id numeric (10) NOT NULL, txt varchar2 (50) NOT NULL, отметка времени даты, CONSTRAINT txt_unique UNIQUE (txt));