Несколько замечаний по терминологии: у регулярных выражений нет состояний - отклонение, принятие или иное.(Чистые) регулярные выражения описывают регулярные языки.Обычные языки также не имеют состояний;просто строки, которые являются элементами или не-элементами языка.Можно обсудить дополнение языка: набор строк в том же алфавите, которые не являются элементами языка.Случается, что дополнение обычного языка также является обычным языком.Каждый регулярный язык может быть описан конечным автоматом, и именно этот автомат имеет отклоняющие или принимающие состояния.
Неправильно давать регулярное выражение и запрашивать его «отклоняющие состояния» - там могут бытьбудет много автоматов, которые описывают один и тот же обычный язык, и нужно будет указать, какая из этих возможностей рассматривается.
Я предполагаю, что вы запрашиваете какое-то описание строк, которые не на указанном языкепо вашему выражению (ab + ba) *, возможно, даже регулярное выражение, которое описывает дополнение этого языка в отношении (a + b) *.
Один из подходов, которые вы можете попробовать, - это найти DFA, который распознаетна этом языке, затем измените все принимающие состояния на отклоняющие состояния и наоборот.Полученный DFA распознает дополнение исходного языка, и (с некоторой сообразительностью - оставлено в качестве упражнения для читателя) его можно преобразовать обратно в регулярное выражение.