Просто включите то, что вам нужно в ваших классах, чтобы ускорить компиляцию. Если вы один из ленивых парней и не важно, сколько времени занимает компиляция, выберите более общие заголовки, но избегайте их, если вы ищете оптимизацию (компилятор / компоновщик, скорее всего, удалит неиспользуемые вещи, но все равно лучше не включать его первым).
В общем, я включаю новые вещи только в том случае, если мне нужно что-то, что все еще отсутствует (т.е. еще не включено). Итак, просто нажмите на компиляцию. Если вам чего-то не хватает, добавьте заголовок. Если вам не нравится такой подход, используйте упомянутые вами общие заголовки.