SQL Сервер не имеет встроенной поддержки регулярных выражений. Вам нужно будет использовать CLR (или как @ Lukasz Szozda указывает в комментариях одно из более новых Language Extensions ).
Если я правильно понял регулярное выражение хотя он сопоставляет строки из 10 цифр и назначает первые 3 группе 1, вторые 3 группе 2 и последние 4 группе 3, а затем использует обратные ссылки в выражении (\1)\2-\3
Вы можете использовать встроенный в строковых функциях сделать это, как показано ниже
SELECT CASE
WHEN phonenumber LIKE REPLICATE('[0-9]', 10)
THEN FORMATMESSAGE('(%s)%s-%s',
LEFT(phonenumber, 3),
SUBSTRING(phonenumber, 4, 3),
RIGHT(phonenumber, 4))
ELSE phonenumber
END