Лучше создать префиксный индекс, скажем, для первых 50
символов для быстрого поиска и индекс UNIQUE
для хеша MD5
(или другого хеша, который достаточно уникален).
CREATE TABLE urls (url NVARCHAR(4000) NOT NULL, url_prefix AS LEFT(url, 50), url_hash AS HashBytes('MD5', url))
CREATE INDEX ix_urls_prefix ON urls (url_prefix)
CREATE INDEX ix_urls_hash ON urls (url_hash)