\
используется как escape-символ в регулярных выражениях, поэтому, чтобы представить символы дословно (буквальный) \
на вашем пути, вы должны использовать \\
:
powershell -Command "(gc sample.txt) -replace 'G:\\Data\\editor\\', '..\' | Out-File -encoding ASCII sample.txt"