Довольно просто преобразовать это в PowerShell:
function RemoveAllFilesByExtenstion([string]$targetFolderPath, [string]$ext)
{
...
}
Но вызов должен использовать аргументы, разделенные пробелом, но не требует кавычек, если в строке нет специального символа PowerShell:
RemoveAllFilesByExtenstion C:\Logs\ .log
OTOH, если функция указывает на то, что вы хотите сделать, это легко сделать в PowerShell:
Get-ChildItem $targetFolderPath -r -filter $ext | Remove-Item