Antlr setText работает не так, как я ожидал

Question

У меня есть требование преобразовать идентификатор в строку beanutil для извлечения элемента из объекта. Идентификаторы преобразования строк выглядят следующим образом:

name                                        ==> name
attribute.name                              ==> attributes(name)[0].value
attribute.name[2]                           ==> attributes(name)[2].value
address.attribute.postalcode                ==> contactDetails.addresses[0].attributes(postalcode)[0].value
address[2].attribute.postalcode             ==> contactDetails.addresses[2].attributes(postalcode)[0].value
address[2].attribute.postalcode[3]          ==> contactDetails.addresses[2].attributes(postalcode)[3].value

Теперь я решил сделать это, используя antlr, так как я чувствую, что это будет так же быстро, как использование набора операторов if. Не стесняйтесь сказать мне, что я не прав.

Прямо сейчас у меня есть эта частичная работа с использованием antlr, однако, как только я начинаю делать 'адресные', часть setText перестает работать для атрибута.

Я делаю это правильно или есть лучший способ использовать antlr для получения желаемого результата?

grammar AttributeParser;

parse returns [ String result ]
:  Address EOF { $result = $Address.text; }
|  Attribute EOF { $result = $Attribute.text; }
|  Varname EOF { $result = $Varname.text; }
;

Address
: 'address' (Arraypos)* '.' Attribute { setText("contactDetails.addresses" + ($Arraypos == null ? "[0]" : $Arraypos.text ) + "." + $Attribute.text); }
; 

Attribute
:  'attribute.' Varname (Arraypos)* { setText("attributes(" + $Varname.text + ")" + ($Arraypos == null ? "[0]" : $Arraypos.text ) + ".value"); }
;

Arraypos
: '[' Number+ ']'
;


Varname  
:  ('a'..'z'|'A'..'Z')+
;

Number
: '0'..'9'+
;

Spaces
:  (' ' | '\t' | '\r' | '\n')+ { setText(" "); }
;

Ниже приведены два модульных теста: первый возвращает то, что я ожидаю, второй нет.

@Test
public void testSimpleAttributeWithArrayRef() throws Exception {

    String source = "attribute.name[2]";
    ANTLRStringStream in = new ANTLRStringStream(source);
    AttributeParserLexer lexer = new AttributeParserLexer(in);
    CommonTokenStream tokens = new CommonTokenStream(lexer);
    AttributeParserParser parser = new AttributeParserParser(tokens);
    String result = parser.parse();
    assertEquals("attributes(name)[2].value", result);       
}

@Test
public void testAddress() throws Exception {

    String source = "address.attribute.postalcode";
    ANTLRStringStream in = new ANTLRStringStream(source);
    AttributeParserLexer lexer = new AttributeParserLexer(in);
    CommonTokenStream tokens = new CommonTokenStream(lexer);
    AttributeParserParser parser = new AttributeParserParser(tokens);
    String result = parser.parse();
    System.out.println("Result: " + result);
    assertEquals("contactDetails.addresses[0].attributes(postalcode)[0].value", result);       
}

Answer 1

Нет, вы не можете сделать (Arraypos)*, а затем ссылаться на содержимое следующим образом: $Arraypos.text.

Я бы не стал менять внутренний текст токенов, но создал бы пару правил синтаксического анализа и позволил им вернуть соответствующий текст.

Немного демо:

grammar AttributeParser;

parse returns [String s]
  :  input EOF {$s = $input.s;}
  ;

input returns [String s]
  :  address   {$s = $address.s;}
  |  attribute {$s = $attribute.s;}
  |  Varname   {$s = $Varname.text;}
  ;

address returns [String s]
  :  Address arrayPos '.' attribute
     {$s = "contactDetails.addresses" + $arrayPos.s + "." + $attribute.s;}
  ;

attribute returns [String s]
  :  Attribute '.' Varname arrayPos 
     {$s = "attributes(" + $Varname.text + ")" + $arrayPos.s + ".value" ;}
  ;

arrayPos returns [String s]
  :  Arraypos      {$s = $Arraypos.text;}
  |  /* nothing */ {$s = "[0]";}
  ;

Attribute : 'attribute';
Address   : 'address';
Arraypos  : '[' '0'..'9'+ ']';
Varname   : ('a'..'z' | 'A'..'Z')+;

, который можно проверить с помощью:

import org.antlr.runtime.*;

public class Main {
  public static void main(String[] args) throws Exception {
    String[][] tests = {
      {"name",                                "name"},
      {"attribute.name",                      "attributes(name)[0].value"},
      {"attribute.name[2]",                   "attributes(name)[2].value"},
      {"address.attribute.postalcode",        "contactDetails.addresses[0].attributes(postalcode)[0].value"},
      {"address[2].attribute.postalcode",     "contactDetails.addresses[2].attributes(postalcode)[0].value"},
      {"address[2].attribute.postalcode[3]",  "contactDetails.addresses[2].attributes(postalcode)[3].value"}
    };
    for(String[] test : tests) {
      String input = test[0];
      String expected = test[1];
      AttributeParserLexer lexer = new AttributeParserLexer(new ANTLRStringStream(input));
      AttributeParserParser parser = new AttributeParserParser(new CommonTokenStream(lexer));
      String output = parser.parse();
      if(!output.equals(expected)) {
        throw new RuntimeException(output + " != " + expected);
      }
      System.out.printf("in  = %s\nout = %s\n\n", input, output, expected);
    }
  }
}

И чтобы запустить демо, сделайте:

java -cp antlr-3.3.jar org.antlr.Tool AttributeParser.g
javac -cp antlr-3.3.jar *.java
java -cp .:antlr-3.3.jar Main

, который выведет на консоль следующее:

in  = name
out = name

in  = attribute.name
out = attributes(name)[0].value

in  = attribute.name[2]
out = attributes(name)[2].value

in  = address.attribute.postalcode
out = contactDetails.addresses[0].attributes(postalcode)[0].value

in  = address[2].attribute.postalcode
out = contactDetails.addresses[2].attributes(postalcode)[0].value

in  = address[2].attribute.postalcode[3]
out = contactDetails.addresses[2].attributes(postalcode)[3].value

EDIT

Обратите внимание, что вы также можете разрешить правилам синтаксического анализа возвращать более одного объекта, например:

bar
  :  foo {System.out.println($foo.text + ", " + $foo.number);}
  ;

foo returns [String text, int number]
  :  'FOO' {$text = "a"; $number = 1;}
  |  'foo' {$text = "b"; $number = 2;}
  ;