Прежде всего вам нужна отладочная информация (.pdb), которую вы можете иметь в обоих. Тогда релизные сборки обычно оптимизируются:
- некоторые переменные отображаются в регистры (и больше не занимают память),
- некоторые функции встроены (и вы не можете поставить на них точку останова)
- некоторый код переупорядочен
и это усложняет понимание того, что происходит в данный момент.
Так что, как правило, сборки релизов будут заметны быстрее, но зачастую сложнее в отладке. Кроме этого, вы не должны видеть никаких серьезных различий.