Simple. Снимите цитаты и добавьте $:
РЕДАКТИРОВАТЬ: Хорошо, вот мое предположение. Я не знаю, что такое $ textfile или какой именно результат вы хотите получить. [^.jpg]
просто означает любой символ, кроме этих 4.
get-childitem *.jpg |
Foreach {$i=0} {Rename-Item $_ -NewName ($_.name -replace 'jpg', $textfile[$i++]) -whatif}