Прежде всего, если n = C, то C не является константой. И в большинстве реальных алгоритмов C мало, поэтому часть big-O обычно доминирует для типичных значений n.
Но сложность big-O связана с эффективностью алгоритма для больших n, особенно когда n приближается к бесконечности. Другими словами, он говорит вам о масштабируемости алгоритма: насколько хорошо данный алгоритм справляется с очень большой или удвоенной рабочей нагрузкой.
Если вы знаете, что n * всегда маленькое, то сложность big-O не так важна, скорее вы должны сосредоточиться на времени настенных часов, требуемом алгоритмом. Кроме того, если вы выбираете между двумя алгоритмами, которые имеют одинаковую сложность big-O (например, O (n log n)), довольно часто один лучше, чем другой (например, быстрая сортировка по случайному повороту обычно превосходит двоичную сортировку кучи).