Использование str_replace
$new_string = str_replace(".", ",", $new_string);
Проблема с вашим регулярным выражением в том, что вы не избежали .
, а .
соответствует любому символу.
Вы можете сделать это
$new_string = preg_replace("/\./", ",", $new_string);