Поскольку числа имеют фиксированную ширину, сортировка в файловых системах NTFS не требуется.
В случае несортированных файловых систем и номеров в разных местах,
Я бы использовал $ ToNatural от Ронана Кузьмина , он расширяет каждое число до 20 мест.
$ToNatural = { [regex]::Replace($_, '\d+', { $args[0].Value.PadLeft(20) }) }
Get-ChildItem "Folder [0-9]* TAG" -Dir|Sort-Object $ToNatural|Select-Object -Expand Name -Last 1