Я бы использовал только одну команду Where-Object
:
Get-childitem -Recurse |
Where-Object {!$_.PSIsContainer -AND $_.Extension -ne '.mp3'} |
Remove-Item -whatIf
Если вы уверены, что ни один каталог не имеет расширения 'mp3':
Get-childitem -Recurse | Where-Object {$_.Extension -ne '.mp3'} |
Remove-Item -whatIf
Удалите -whatIf
вудалить файлы.