Не читайте определенный токен в данный момент - PullRequest
Новая
       14

Не читайте определенный токен в данный момент

0 голосов
/ 28 апреля 2019

В какой-то момент в моем файле грамматики я хочу, чтобы ANTLR считывал мои входные данные как 2 токена вместо одного. В моем исходном файле у меня есть значение 

12345.name

и лексер потребляет 

12345.

как FLOAT-токен. В этот конкретный момент в исходном файле я хочу, чтобы ANTLR читал это как

  • 12345 (INT)
  • . (DOT)
  • имя (ИМЯ)

Есть ли способ сообщить ANTLR, что он должен игнорировать типы FLOAT в некоторой заданной точке?

Это мой текущий файл .g4: 

grammar Quest;
import Lua;

@header {
package dev.codeflush.m2qc.antlr;
}

/*
prefixed everything with "m2" to avoid nameclashes
*/

m2QuestFile
    : m2Define* m2Quest* EOF
    ;

m2Define
    : 'define' NAME m2DefineValue
    ;

m2DefineValue
    : ~('\r\n' | '\r' | '\n')
    ;

m2Quest
    : 'quest' NAME 'begin' m2State* 'end'
    ;

m2State
    : 'state' NAME 'begin' (m2TriggerBlock | m2Function)* 'end'
    ;

m2TriggerBlock
    : 'when' m2Trigger ('or' m2Trigger)* ('with' exp)? 'begin' block 'end'
    ;

m2Function
    : 'function' NAME funcbody
    ;

m2Trigger
    : m2TriggerTarget DOT m2TriggerEvent DOT m2TriggerSubEvent DOT m2TriggerArgument
    | m2TriggerTarget DOT m2TriggerEvent DOT m2TriggerArgument
    | m2TriggerTarget DOT m2TriggerEvent
    | m2TriggerEvent
    ;

m2TriggerTarget
    : NAME
    | INT
    | NORMALSTRING
    ;

/*
not complete
*/
m2TriggerEvent
    : 'button'
    | 'enter'
    | 'info'
    | 'item_informer'
    | 'kill'
    | 'leave'
    | 'letter'
    | 'levelup'
    | 'login'
    | 'logout'
    | 'unmount'
    | 'target'
    | 'chat'
    | 'timer'
    | 'server_timer'
    ;

m2TriggerSubEvent
    : 'click'
    | 'chat'
    | 'arrive'
    ;

m2TriggerArgument
    : exp
    ;

DOT
    : '.'
    ;

Я использую грамматику Lua из https://github.com/antlr/grammars-v4/blob/master/lua/Lua.g4

Мой текущий пример входного файла выглядит так: 

quest test begin
    state start begin
        when kill begin
        end

        when "12345".kill begin
        end

        when 12345.kill begin
        end
    end
end

Где первые два работают как задумано, а третий - нет (потому что лексер читает «12345.» как один FLOAT-токен)

1 Ответ

1 голос
/ 29 апреля 2019

У меня была похожая потребность в моей грамматике , где я хотел выпустить несколько токенов (фактически 2) для одного совпадения при определенных условиях (здесь: когда за точкой непосредственно следует идентификатор, включаяключевое слово). 

// Special rule that should also match all keywords if they are directly preceded by a dot.
// Hence it's defined before all keywords.
// Here we make use of the ability in our base lexer to emit multiple tokens with a single rule.
DOT_IDENTIFIER:
    DOT_SYMBOL LETTER_WHEN_UNQUOTED_NO_DIGIT LETTER_WHEN_UNQUOTED* { emitDot(); } -> type(IDENTIFIER)
;

A вспомогательная функция необходима для выдачи дополнительных токенов: 

/**
 * Puts a DOT token onto the pending token list.
 */
void MySQLBaseLexer::emitDot() {
  _pendingTokens.emplace_back(_factory->create({this, _input}, MySQLLexer::DOT_SYMBOL, _text, channel,
                                               tokenStartCharIndex, tokenStartCharIndex, tokenStartLine,
                                               tokenStartCharPositionInLine));
  ++tokenStartCharIndex;
}

, что в свою очередь требует специальной обработкиизготовление токенов.Вы должны переопределить метод nextToken в вашем потоке токенов, чтобы рассмотреть список ожидающих токенов перед возвратом следующего реального токена. 

/**
 * Allow a grammar rule to emit as many tokens as it needs.
 */
std::unique_ptr<antlr4::Token> MySQLBaseLexer::nextToken() {
  // First respond with pending tokens to the next token request, if there are any.
  if (!_pendingTokens.empty()) {
    auto pending = std::move(_pendingTokens.front());
    _pendingTokens.pop_front();
    return pending;
  }

  // Let the main lexer class run the next token recognition.
  // This might create additional tokens again.
  auto next = Lexer::nextToken();
  if (!_pendingTokens.empty()) {
    auto pending = std::move(_pendingTokens.front());
    _pendingTokens.pop_front();
    _pendingTokens.push_back(std::move(next));
    return pending;
  }
  return next;
}

Имейте в виду: правило лексера все ещевыдает свой собственный токен (здесь я установил IDENTIFIER), что означает, что вам нужно только выдать дополнительные токены.

...