Вы можете использовать регулярное выражение, чтобы сопоставить все, что вы хотите удалить:
str = Regex.Replace(str, "[^A-Za-z]+", String.Empty);
[^...]
- это отрицательный набор, который соответствует любому символу, которого нет в наборе. Вы можете просто поместить туда любого персонажа, которого хотите сохранить.