Antlr3 - скрытый токен в парсере

Question

Можете ли вы использовать токен, определенный в лексере в скрытом канале в одном правиле парсера, как если бы это был обычный токен? Сгенерированный код Java ...

спасибо

Answer 1

Да, вы можете использовать скрытый токен в парсере.

Мы делаем это постоянно.Единственная проблема заключается в том, что вам нужно знать, когда его искать.

У Antlr есть несколько терминов, которые он использует.

Токен Hidden просто перемещается в отдельном потоке.Пользователь всегда может проверить наличие скрытых токенов, вызвав getHiddenAfter или getHiddenBefore на текущем совпавшем токене.

Примечание: Может быть несколько скрытых токенов, до или после,совпадающий токен, поэтому вы должны проходить через них.

Discarded токен фактически удаляется, когда вы указываете лексеру отказаться от него.Он никогда тебя больше не увидит.

Answer 2

Когда вы создаете CommonTokenStream, вы сообщаете ему, какой канал использовать. Токены на других каналах не будут видны парсеру.