Удалить дубликаты на основе критерия длины строки - PullRequest
Новая
       4

Удалить дубликаты на основе критерия длины строки

1 голос
/ 30 апреля 2011

Фон

Удалить дубликаты названий городов из временной таблицы, основываясь на длине имени.

Проблема

Следующий запрос возвращает 350 000 строк: 

select
  tc.id,
  tc.name_lowercase,
  tc.population,
  tc.latitude_decimal,
  tc.longitude_decimal
from
  climate.temp_city tc
inner join (
  select
    tc2.latitude_decimal,
    tc2.longitude_decimal
  from
    climate.temp_city tc2
  group by
    tc2.latitude_decimal,
    tc2.longitude_decimal
  having
    count(*) > 3
) s on 
  tc.latitude_decimal = s.latitude_decimal and
  tc.longitude_decimal = s.longitude_decimal

Пример данных: 

940308;"sara"            ;;-53.4333333;-68.1833333
935665;"estancia la sara";;-53.4333333;-68.1833333
935697;"estancia sara"   ;;-53.4333333;-68.1833333
937204;"la sara"         ;;-53.4333333;-68.1833333
940350;"seccion gap"     ;;-52.1666667;-68.5666667
941448;"zanja pique"     ;;-52.1666667;-68.5666667
935941;"gap"             ;;-52.1666667;-68.5666667
935648;"estancia gap"    ;;-52.1666667;-68.5666667
939635;"ritchie"         ;;-51.9833333;-70.4
934948;"d.e. ritchie"    ;;-51.9833333;-70.4
934992;"diego richtie"   ;;-51.9833333;-70.4
934993;"diego ritchie"   ;;-51.9833333;-70.4
934990;"diego e. ritchie";;-51.9833333;-70.4

Я хотел бы удалить все дубликаты, сохранив строки, где:

  • население не равно нулю; и
  • имя является самым длинным из дубликатов (max(tc.name_lowercase)); и
  • , если ни одно из этих условий не выполнено, сохранить max(tc.id).

Из данного набора данных оставшиеся строки будут: 

935665;"estancia la sara";;-53.4333333;-68.1833333
935648;"estancia gap"    ;;-52.1666667;-68.5666667
934990;"diego e. ritchie";;-51.9833333;-70.4

Вопрос

Как бы вы выбрали только строки с повторяющимися значениями lat / long, которые соответствуют критериям проблемы?

Спасибо!

1 Ответ

1 голос
/ 30 апреля 2011

Я думаю, вы ищете что-то вроде этого: 

SELECT t.id, t.name_lowercase, t.latitude_decimal, t.longitude_decimal
FROM (SELECT MAX(LENGTH(name_lowercase)) AS len, latitude_decimal, longitude_decimal FROM temp_city GROUP BY latitude_decimal, lng) AS max_length,
     temp_city t
WHERE max_length.latitude_decimal  = t.latitude_decimal
  AND max_length.longitude_decimal = t.longitude_decimal
  AND max_length.len = LENGTH(t.name_lowercase);

Где temp_city - таблица, содержащая ваши результаты выборки.

Приведенные выше проблемы могут привести кtemp_city также содержит эту строку: 

1 | xxxancia la sara | -53.4333333 | -68.1833333

Вы не предложили способ выбрать, какую строку из числа тех, чья name имеет максимальную длину, поэтому оба они будут возвращены: 

      1 | xxxancia la sara | -53.4333333 | -68.1833333
 935665 | estancia la sara | -53.4333333 | -68.1833333

ОБНОВЛЕНИЕ : Если max(tc.id) является дополнительным критерием для обрезки вышеупомянутых дубликатов, то вы можете обернуть другой слой на: 

SELECT t.id, t.name_lowercase, t.latitude_decimal, t.longitude_decimal
FROM  
  (
    SELECT MAX(t.id) AS id
    FROM
      (
        SELECT MAX(LENGTH(name_lowercase)) AS len, latitude_decimal, longitude_decimal
        FROM temp_city
        GROUP BY latitude_decimal, longitude_decimal
      ) AS max_length,
      temp_city t
    WHERE max_length.latitude_decimal  = t.latitude_decimal
      AND max_length.longitude_decimal = t.longitude_decimal
      AND max_length.len               = LENGTH(t.name_lowercase)
    GROUP BY t.latitude_decimal, t.longitude_decimal, LENGTH(t.name_lowercase)
  ) AS tt, 
  temp_city t
WHERE t.id = tt.id
...