Первое данное решение будет определять ключевые префиксы;немного увеличьте его, чтобы строки таблицы начинались с этих ключей:
SELECT *
FROM TABLE
WHERE SUBSTRING(COLUMN, 0, CHARINDEX('~', COLUMN)) IN
(
SELECT SUBSTRING(COLUMN, 0, CHARINDEX('~', COLUMN)) FROM TABLE
GROUP BY SUBSTRING(COLUMN, 0, CHARINDEX('~', COLUMN))
HAVING COUNT(*) > 1
)
В качестве альтернативы, вы можете использовать соединение между временной таблицей, содержащей префиксы, и исходной таблицей - если число префиксов становится оченьбольшой, использование «где в» может стать очень дорогим.