Насколько я знаю, нет возможности повысить такие лимиты, хотя вы можете попробовать связаться со службой поддержки.
Альтернативный подход, который будет работать, - это создание Application + Service Principal для каждого развертывания вместо создания ключа для каждого развертывания.
Затем вы все равно можете отключить отдельное развертывание, удалив ключ приложения.
Вы можете автоматизировать создание приложения + SP + любые необходимые назначения разрешений с помощью Azure AD Powershell или API-интерфейса Graph Azure / MS Graph.