Вы можете вставить произвольный код скрипта PowerShell в строку в двойных кавычках, используя подвыражение, например, $ (), например:
"C:\temp\mybackup $(get-date -f yyyy-MM-dd).zip"
А если вы получаете путь откуда-то еще - уже в виде строки:
$dirName = [io.path]::GetDirectoryName($path)
$filename = [io.path]::GetFileNameWithoutExtension($path)
$ext = [io.path]::GetExtension($path)
$newPath = "$dirName\$filename $(get-date -f yyyy-MM-dd)$ext"
И если путь происходит из вывода Get-ChildItem :
Get-ChildItem *.zip | Foreach {
"$($_.DirectoryName)\$($_.BaseName) $(get-date -f yyyy-MM-dd)$($_.extension)"}