Вы можете сделать следующее: написать грамматику в формате для yacc (или любого другого знакомого вам генератора синтаксических анализаторов). Вот так
%%
s: '(' ')' | '(' s ')' | s s;
Запустите это через yacc и найдите ошибки смещения / уменьшения или уменьшения / уменьшения.