Вы не можете удалить вложенный файл после отправки письма. Перед отправкой вы можете удалить.
Что говорит ошибка, указанный вами путь использует какой-то другой процесс.
MailMessage Message = new MailMessage();
Message.Subject = "Attachment Test";
Message.Body = "Check out the attachment!";
Message.To.Add("webmaster@15Seconds.com");
Message.From = "someone@somedomain.com";
Message.Attachments.Add(new Attachment(memorystream, "test.txt", MediaTypeNames.Application.Text));
Обратите внимание, что мы создали вложение из MemoryStream, и мы должны назвать вложение как угодно. Имя вложения во втором параметре - это имя файла в электронном письме, а не имя на жестком диске локальной системы. На самом деле вложение никогда не отправляется на локальный жесткий диск. Третий параметр - это Mime-тип вложения, в нашем случае это текст.
Редактировать: use Dispose() the mail