Чтобы пользователь (в нашем случае назовем его администратором) для доступа к папке контактов других пользователей с помощью гранта делегата потребовал бы Contacts.Read.Shared или Contacts.ReadWrite.Shared, см. https://docs.microsoft.com/en-us/graph/outlook-get-shared-contacts-folders.
Другое дело, что права администратора не имеют никакого значения для доступа к почтовому ящику, например, делегировать доступ к почтовым ящикам необходимо специально, либо через Add-MailboxPermission https://docs.microsoft.com/en-us/exchange/recipients/mailbox-permissions?view=exchserver-2019, либо делегировать через Outlook. (Например, если вы можете получить доступ к целевому почтовому ящику через OWA или Outlook, ваши права Exchange хороши, но просто быть администратором-арендатором означает доступ к почтовому ящику). Другой вариант, если вы пытаетесь создать приложение, которое получит доступ ко всем почтовым ящикам в клиенте, взгляните только на токены приложения https://docs.microsoft.com/en-us/azure/active-directory/develop/scenario-daemon-app-registration