Рассмотрите возможность использования следующего шаблона:
@"[^\p{L}\p{Nd}'""\s]+"
Это будет нацелено на все специальные символы, исключая при этом одинарные и двойные кавычки, а также пробелы.
string clientName = "S\"unny, Cool. Mr";
string output = Regex.Replace(clientName, @"[^\p{L}\p{Nd}'""]+", "");
Console.WriteLine(output);
Это напечатает:
S"unny Cool Mr
Символьные классы \p{L}
и \p{N}
представляют все буквы и числа Unicode, поэтому их размещение в классе отрицательных символов означает удаление всего, что является не числом или буквой.