ANTLR: как анализировать область в соответствующих скобках с помощью лексера - PullRequest
Новая
       54

ANTLR: как анализировать область в соответствующих скобках с помощью лексера

4 голосов
/ 03 августа 2011

Я хочу разобрать что-то подобное в моем лексере: 

( begin expression )

, где выражения также заключены в квадратные скобки.не важно, что в выражении, я просто хочу иметь все, что находится между (begin и соответствующим ) в качестве токена.Например: 

(begin 
    (define x (+ 1 2)))

, поэтому текст токена должен быть 

(define x (+ 1 2)))

что-то вроде 

PROGRAM : LPAREN BEGIN .* RPAREN;

(очевидно) не работает, потому что каккак только он видит ")", он думает, что правило закончено, но мне нужна соответствующая скобка для этого.

как я могу это сделать?

1 Ответ

4 голосов
/ 03 августа 2011

Внутри правил лексера вы можете вызывать правила рекурсивно. Итак, это один из способов решить эту проблему. Другой подход заключается в отслеживании количества открывающих и закрывающих круглых скобок и допускает цикл семантического предиката , пока ваш счетчик больше нуля.

Демо:

T.g 

grammar T;

parse
  :  BeginToken {System.out.println("parsed :: " + $BeginToken.text);} EOF
  ;

BeginToken 
@init{int open = 1;}
  :  '(' 'begin' ( {open > 0}?=>              // keep reapeating `( ... )*` as long as open > 0
                     ( ~('(' | ')')           // match anything other than parenthesis
                     | '('          {open++;} // match a '(' in increase the var `open`
                     | ')'          {open--;} // match a ')' in decrease the var `open`
                     )
                 )*
  ;

Main.java 

import org.antlr.runtime.*;

public class Main {
  public static void main(String[] args) throws Exception {
    String input = "(begin (define x (+ (- 1 3) 2)))";
    TLexer lexer = new TLexer(new ANTLRStringStream(input));
    TParser parser = new TParser(new CommonTokenStream(lexer));
    parser.parse();
  }
}

java -cp antlr-3.3-complete.jar org.antlr.Tool T.g
javac -cp antlr-3.3-complete.jar *.java
java -cp .:antlr-3.3-complete.jar Main

parsed :: (begin (define x (+ (- 1 3) 2)))

Обратите внимание, что вам нужно остерегаться строковых литералов внутри вашего источника, которые могут включать скобки: 

BeginToken
@init{int open = 1;}
  :  '(' 'begin' ( {open > 0}?=>              // ...
                     ( ~('(' | ')' | '"')     // ...
                     | '('          {open++;} // ...
                     | ')'          {open--;} // ...
                     |  '"' ...               // TODO: define a string literal here
                     )
                 )*
  ;

или комментарии, которые могут содержать скобки.

Предложение с предикатом использует некоторый языковой код (в данном случае Java). Преимущество рекурсивного вызова правила лексера заключается в том, что в лексере нет пользовательского кода: 

BeginToken 
  :  '(' Spaces? 'begin' Spaces? NestedParens Spaces? ')'
  ;

fragment NestedParens
  :  '(' ( ~('(' | ')') | NestedParens )* ')'
  ;

fragment Spaces
  :  (' ' | '\t')+
  ;
...