Это полностью зависит от деталей реализации и приложения.
Конечно, возможно реализовать Security Manager, которому требуется много времени для проверки определенных разрешений, и приложение, для которого требуются эти разрешенияпроверяется очень часто, что приводит к ужасной производительности.
Но обычно проверка разрешений происходит не достаточно часто, чтобы привести к значительному снижению производительности.