Существует оператор -replace
, но он требует регулярного выражения (поэтому вам нужно избегать обратной косой черты):
$s -replace 'Server\\MyName', 'MyOtherServer\AnotherName'
Конечно, необходимое экранирование относится только к регулярному выражению, а не к замене.