Конечно, это замедляет компиляцию. В общем случае это также может привести к тому, что ваш .exe-файл будет содержать глобальные переменные или даже функции, которые вы никогда не используете.
Для стандартных заголовков C-runtime я не знаю каких-либо значительных затрат времени выполнения. Для других заголовков вы должны быть осторожны. Некоторые из заголовков Windows объявляют сотни UUID, которые могут привести к вздутию вашего exe-файла.
То, как вы узнаете, стоит ли это чего-то во время выполнения, - это посмотреть файл .map, который генерирует компоновщик. Есть ли какие-либо переменные или функции, которые вы не ожидали?