Отключение только отладки не должно иметь никакого значения. Но как только вы отключите отладку и включите оптимизацию, вы увидите разницу, так как это приводит к некоторой статической оптимизации во время компиляции. Таким образом, даже ваш оптимизированный для хот-спота код становится быстрее во время выполнения.
Но пока что между компромиссом между получением полных трассировок стека или повышением производительности пользователя я всегда голосовал за трассировку стека. В конце концов, пользователи готовы тратить 1000 долларов в год на приобретение более быстрой машины, но не хотят тратить 15 минут на то, чтобы дать вам значимые сообщения об ошибках для решения своих проблем.
По прошествии многих лет я более готов оценить свои 15 минут выше, чем 1000 $ пользователя. :)