Первая команда должна делать именно то, что вы хотите, я использую ее регулярно.
Во-первых, я рекомендую проверить, что командлет действительно работает, попробуйте добавить псевдоним.
Во-вторых, что-то не так с подключением к серверу, попробуйте сделать
Connect-ExchangeServer YourServer -AllowClobber
В-третьих, проверьте, что EmailAddressPolicy не мешает вам удалить псевдоним (проверьте там политики, особенносамый низкий - по умолчанию).
Вы можете просто отключить его:
Set-MailContact joe@contoso.com -EmailAddressPolicyEnabled $false
Также вы можете установить атрибут EmailAddresses с этим шаблоном:
Set-MailContact joe@contoso.com -EmailAddresses 'SMTP:joe@contoso.com'
Этот удалит все остальные псевдонимы, кроме того, который вы написали (может потребоваться отключить политику адресов электронной почты).