Как уже упоминалось, проблема заключается в специальных символах, которые не допускаются в именах файлов.
Я бы также использовал другой формат вашей даты, измените формат даты, чтобы он начинался с года:
Get-Date –format 'yyyyMMdd_HHmmss'
Таким образом, если есть несколько файлов с таким именем, они будут отсортированы в хронологическом порядке в представлении папки