Здесь мы можем захватить желаемые символы, а затем те нежелательные,
([+]?[0-9]+)|(.+?)
и сделайте простую замену.
Test
import java.util.regex.Matcher;
import java.util.regex.Pattern;
final String regex = "([+]?[0-9]+)|(.+?)";
final String string = "+880 199-8017580\n"
+ "+880 199-801-7580\n"
+ "880 199-801-7580\n"
+ "(880) 199-801-7580\n"
+ "(880) 199-801-7580 ";
final String subst = "\\1";
final Pattern pattern = Pattern.compile(regex, Pattern.MULTILINE);
final Matcher matcher = pattern.matcher(string);
final String result = matcher.replaceAll(subst);
System.out.println(result);