Microsoft Graph может получать доступ только к облачным данным, поэтому для доступа к личным контактам вам необходимо иметь почтовый ящик Exchange Online в Office 365. ( ссылка ) Из вашего комментария у вас нетпочтовый ящик Exchange Online, поэтому, к сожалению, конечная точка /me/contacts
не будет работать для ваших пользователей.