Я реализовал простой сканер-генератор.
У меня возникла одна проблема при создании, она касается классификации разделителей.
Например, если включен пробел, такой как «a + b», вы можете создать токены id + plus + id, просто разделив пробел. Однако, если нет пробела, такого как «a + b», оно считается нераспознанным правилом, а не id + plus + id.
Если указывать разделитель каждый раз, это проблема, которую необходимо решить, но в случае «023abc» он интерпретируется как число + id и не может быть легко применен.
Дайте мне знать, если есть способ решить эту проблему.
Мой код: https://github.com/rollrat/compiler-compiler