Итак, это немного сбивало с толку, какова была настоящая проблема. Таким образом, вам нужно экранировать скобки, так же, как вы экранируете "\ n" в строках - с помощью "` ". Это создаст папку:
> New-Item -Path 'C:\stuff\powershell\`[test`]' -Name "221" -ItemType "directory"
Но это "молча провалится":
> New-Item -Path 'C:\stuff\powershell\[test]' -Name "221" -ItemType "directory"