Техника, которую я бы использовал, состоит в том, чтобы пройти через ввод, сохраняя счетчик скобок. Для каждого '(', увеличьте счетчик. Для каждого ')', уменьшите счетчик и проверьте, не отрицателен ли он (чтобы определить такие вещи, как "()) (()", который имеет одинаковое количество левой и правой частей, но не сбалансированы). Если в какой-то момент счетчик становится отрицательным, парены не сбалансированы, в противном случае они уравновешиваются, если счетчик равен нулю в конце.
Честно говоря, я совершенно не понимаю, чего вы пытаетесь достичь с помощью приведенного выше кода, и у меня есть большой опыт чтения кода для ученика С, поэтому все, что я могу вам дать, - это алгоритмический совет.