Я знаю, что на ПК регистры с плавающей запятой имеют ширину 80 бит. Таким образом, если вычисление выполняется полностью внутри FPU, вы получите преимущество в 80 бит точности. С другой стороны, если промежуточный результат перемещается в обычный регистр и обратно, он усекается до 32 бит, что дает разные результаты.
Теперь учтите, что сборка выпуска будет иметь оптимизации, которые сохраняют промежуточные результаты в регистрах FPU, тогда как сборка отладки, вероятно, будет наивно копировать промежуточные результаты назад и вперед между памятью и регистрами - и в этом ваша разница в поведении.
Я не знаю, происходит ли это на X360 или нет.