Помимо того, что сказал Манджи, если вы действительно хотите реализовать калькулятор, вам нужно будет проанализировать ваши токены после того, как они были токенизированы.
Например, если у вас есть выражение:
1 + 2 + 3 * (4 + 5)
вам нужно создать Абстрактное синтаксическое дерево , чтобы выражение было оценено правильно.
Одних регулярных выражений недостаточно, чтобы полностью решить эту проблему.