Вам нужно реализовать простой парсер для преобразования строки уравнения в AST.
Первый шаг - лексический анализ, преобразование строки уравнения в список токенов.
Следующим шагом является анализ грамматики, вы можете написать для этого нисходящий анализатор. Но перед этим лучше правильно определить формальную грамматику, используя такие обозначения, как BNF.
(Если вам нужно только проверить это, а не вычислять конечный результат, лучше использовать стороннюю библиотеку.)