Когда вы возвращаете текстовое значение из текстовой области, оно уже преобразовано в его действительный символ. Чтобы заменить строку на эту строку, либо
- преобразовать все символы в их HTML-аналоги, а затем продолжить то, что вы делаете, или
- используйте символ в регулярном выражении напрямую.
Вот пример второго подхода.
var newText = oldText.replace(/•/g, "");
Вы можете поиграть с примером здесь .
Если вы хотите перейти к первому подходу, см. Этот вопрос и его ответы о способах преобразования символов в фрагменте текста в соответствующие им HTML-сущности.