Игнорировать токены в символах токена? - PullRequest
Новая
       40

Игнорировать токены в символах токена?

0 голосов
/ 18 мая 2011

В моем лексере есть следующее определение токена, определяющего CharacterString (например, 'abcd'): 

CharacterString:
  Apostrophe
  (Alphanumeric)*
  Apostrophe
;

Можно ли игнорировать два апострофа, чтобы затем можно было получить строку токена без них в лексере (через $ CharacterString.text-> chars)?

Я пытался ... 

CharacterString:
  Apostrophe { $channel = HIDDEN; }
  (Alphanumeric)*
  Apostrophe { $channel = HIDDEN; }
;

... без успеха ... Этот случай даже больше не соответствует моей строке (например, в синтаксическом анализаторе произойдет сбой 'oiu' - исключение несоответствующего набора).

Спасибо:)

Ответы [ 2 ]

2 голосов
/ 18 мая 2011

Встроенный код {$channel=HIDDEN;} влияет на весь CharacterString, поэтому вы не можете сделать это так, как пытались.

Вам нужно будет добавить собственный код и удалить кавычки самостоятельно.Вот небольшая демонстрационная версия C: 

grammar T;

options {
  language=C;
}

parse
  :  (t=. {printf(">\%s<\n", $t.text->chars);})+ EOF
  ;

CharacterString
  :  '\'' ~'\''* '\''
     {
       pANTLR3_STRING quoted = GETTEXT();
       SETTEXT(quoted->subString(quoted, 1, quoted->len-1));
     }
  ;

Any
  :  .
  ;

и небольшая тестовая функция: 

#include "TLexer.h"
#include "TParser.h"

int main(int argc, char *argv[])
{
  pANTLR3_UINT8 fName = (pANTLR3_UINT8)"input.txt";
  pANTLR3_INPUT_STREAM input = antlr3AsciiFileStreamNew(fName);

  if(input == NULL)
  {
    fprintf(stderr, "Failed to open file %s\n", (char *)fName);
    exit(1);
  }

  pTLexer lexer = TLexerNew(input);

  if(lexer == NULL)
  {
    fprintf(stderr, "Unable to create the lexer due to malloc() failure1\n");
    exit(1);
  }

  pANTLR3_COMMON_TOKEN_STREAM tstream = antlr3CommonTokenStreamSourceNew(ANTLR3_SIZE_HINT, TOKENSOURCE(lexer));

  if(tstream == NULL)
  {
    fprintf(stderr, "Out of memory trying to allocate token stream\n");
    exit(1);
  }

  pTParser parser = TParserNew(tstream);

  if(parser == NULL)
  {
    fprintf(stderr, "Out of memory trying to allocate parser\n");
    exit(ANTLR3_ERR_NOMEM);
  }

  parser->parse(parser);

  parser->free(parser);   parser = NULL;
  tstream->free(tstream); tstream = NULL;
  lexer->free(lexer);     lexer = NULL;
  input->close(input);    input = NULL;

  return 0;
}

, а тестовый файл input.txt содержит: 

'abc'

Если вытеперь 1) сгенерируйте лексер и парсер, 2) скомпилируйте все .c исходные файлы и 3) запустите main: 

# 1
java -cp antlr-3.3.jar org.antlr.Tool T.g

# 2
gcc -Wall main.c TLexer.c TParser.c -l antlr3c -o main

# 3
./main

вы увидите, что abc (без кавычек)вывод на консоль.

1 голос
/ 18 мая 2011

Вы можете влиять на построение токена через атрибут RecognizerSharedState state вашего лексера: 

CharacterString:
  Apostrophe
  CharSequence
  Apostrophe
  { state.text = $CharSequence.text; }
;

fragment CharSequence:
  Alphanumeric+
;
...