Как насчет этого:
gsub("[<>\\$] ?\\d+", " ", TestStrings)
Возвращает:
[1] "Some number " "Some number " "Some number " "Some number 1000000"
, что, я думаю, то, что вы ищете.
РЕДАКТИРОВАТЬ На самом деле вы хотите противоположное, поэтому
gsub("([<>\\$] ?\\d+)|\\d+", "\\1", TestStrings)
[1] "Some number < 100" "Some number > 999" "Some number $1000" "Some number "