Вам нужно найти c (как вы упомянули в своей задаче), и вам нужно показать, что неравенство выполняется для всех n, больших k.
Показав, что вы можете найти рассматриваемые c и k, тогда по определению вы доказали границу big-O.
И наоборот, если вы не можете найти такие c и k, это потому, что функция слева не ограничена сверху функцией справа. Это не должно иметь место, хотя (и вы будете знать, что вы получаете более интуитивное понимание асимптотического роста / ограничения, когда вы можете точно сформулировать, почему).