Я подтвердил, что использование одинарных кавычек с двойными кавычками работает, как предложил Энтони Стрингер
powershell -command "Get-ChildItem <FOLDERPATH> -Recurse -file | % { '{0} {1}' -f $_.FullName, [System.Diagnostics.FileVersionInfo]::GetVersionInfo($_.FullName).FileVersion }