Если результаты теста верны, то это должно быть проблемой компилятора,
Процессор будет делать все, что ему говорят, в тактовом цикле
Если будет меньше, то будет быстрее
Дополнительно:
Ну, на самом деле, если компилятор уже создал множество машинного кода для обработки, то если он уже добавил миллиарды вещей, чтобы справиться с тем, какой тип данных требует сравнения, то удаление одного "второстепенного" IF не будет изменить скорость сильно на всех.
Если кто-то все еще читает это, тогда я заинтересован в дальнейшем обсуждении.
Phil