Это зависит от того, что вы подразумеваете под «не буквой», но если предположить, что вы имеете в виду, что буквы являются a-z или A-Z, попробуйте следующее:
s = s.replaceAll("[^a-zA-Z]", " ");
Если вы хотите свернуть несколько символов в один пробел, добавьте плюс в конце регулярного выражения.
s = s.replaceAll("[^a-zA-Z]+", " ");