Во-первых, наличие таких имен файлов вызывает проблемы. Это гораздо больше проблем, чем помощь.
При этом Powershell правила цитирования объясняет, как работать с кавычками. Поскольку в имени файла есть одиночная кавычка, ее нужно экранировать, удваивая ее - обычный обратный удар здесь не помогает. Here-Strings тоже работают. Вот так
# single quote twice
test-path -literalpath '[test^!#$%&''()=~{`}_+-^[];.,] test.xlsx'
True
# here-string
test-path -literalpath @'
>> [test^!#$%&'()=~{`}_+-^[];.,] test.xlsx
>> '@
True
# here-string in varialbe
$f =@'
>> [test^!#$%&'()=~{`}_+-^[];.,] test.xlsx
>> '@
test-path -literalpath $f
True