Обычно вложения кодируются в base64 в System.Net.Mail. Кодировка base64 занимает 3 байта и преобразует их в 4 байта.
Что вам нужно сделать, это определить длину вложения (либо как Stream.Length, длину в байтах [], либо длину файла) и разделить его на 0,75.
Это даст вам размер вложения, base64, закодированный для SMTP.