Я получил вышеупомянутое для работы, удалив строку
$attachment = new-object System.Net.Mail.Attachment $file
и меняется
$message.Attachments.Add($attachment)
до
$message.Attachments.Add($file)
Хотя решение, предоставленное @Keith Hill, было бы лучше, даже при большом количестве очков я не мог заставить его работать.