Точка (.
) соответствует любому символу при использовании в регулярном выражении. Вы должны избежать его с обратной косой чертой:
Regex regex2 = new Regex(@":|\.");
Обратите внимание, что это полностью отличается от экранирования, выполняемого в строковых литералах - это часть языка регулярных выражений, а не языка C #.
(Я бы также согласился с предложением Одеда о том, что использование регулярного выражения, вероятно, в любом случае не самое подходящее решение).