Вместо того, чтобы поместить переменную внутри вашей строки, вы можете установить ее вне строки и указать значение для нее и вашей строки:
files = Get-ChildItem C:\Users\edward.muldrew\Documents\35759175
$pathDestination = "C:\Users\edward.muldrew\Documents\35759175\Test"
for ($i=0; $i -lt $files.Count; $i++) {
$pathSource = "C:\Users\edward.muldrew\Documents\35759175\" + $files[$i]
Move-Item $pathSource -Destination $pathDestination
РЕДАКТИРОВАТЬ: я видел, что powershell позволяет вам помещать переменные в строку без конкатенации, окружая их внутри $()
files = Get-ChildItem C:\Users\edward.muldrew\Documents\35759175
$pathDestination = "C:\Users\edward.muldrew\Documents\35759175\Test"
for ($i=0; $i -lt $files.Count; $i++) {
$pathSource = "C:\Users\edward.muldrew\Documents\35759175\$($files[$i])"
Move-Item $pathSource -Destination $pathDestination