Я подозреваю, что это может быть связано с кодировкой.
Попробуйте использовать конструктор new MailAddress("xxxx@xxxx.domain","blab blalb", Encoding.Default)
.
Иначе попробуйте Encoding.Unicode
.
Обновление:
После некоторого копания выдается это исключение из:
void System.Net.BufferBuilder.Append(string,int,int);
Это произойдет, если в адресе электронной почты есть символы выше \ xff. Это не должно происходить, так как имя уже должно быть закодировано, но, думаю, что-то еще странное