Решение неясностей в грамматике - PullRequest
Новая
       51

Решение неясностей в грамматике

1 голос
/ 21 февраля 2011

Я пишу парсер для файлов delphi dfm.Лексер выглядит так: 

EXP ([Ee][-+]?[0-9]+)

%%

("#"([0-9]{1,5}|"$"[0-9a-fA-F]{1,6})|"'"([^']|'')*"'")+ { 
                                                 return tkStringLiteral; }
"object" { return tkObjectBegin; }
"end" { return tkObjectEnd; }
"true" { /*yyval.boolean = true;*/ return tkBoolean; }
"false" { /*yyval.boolean = false;*/ return tkBoolean; }

"+" | "." | "(" | ")" | "[" | "]" | "{" | "}" | "<" | ">" | "=" | "," | 
":" { return yytext[0]; }

[+-]?[0-9]{1,10} { /*yyval.integer = atoi(yytext);*/ return tkInteger; }
[0-9A-F]+ { return tkHexValue; }
[+-]?[0-9]+"."[0-9]+{EXP}? { /*yyval.real = atof(yytext);*/ return tkReal; }
[a-zA-Z_][0-9A-Z_]* { return tkIdentifier; }
"$"[0-9A-F]+ { /* yyval.integer = atoi(yytext);*/ return tkHexNumber; }

[ \t\r\n] { /* ignore whitespace */ }
. { std::cerr << boost::format("Mystery character %c\n") % *yytext; }

<<EOF>> { yyterminate(); }

%%

, а грамматика бизонов выглядит как 

%token tkInteger
%token tkReal
%token tkIdentifier
%token tkHexValue
%token tkHexNumber
%token tkObjectBegin
%token tkObjectEnd
%token tkBoolean
%token tkStringLiteral

%%object:
    tkObjectBegin tkIdentifier ':' tkIdentifier 
          property_assignment_list tkObjectEnd
  ;

property_assignment_list:
    property_assignment
  | property_assignment_list property_assignment
  ;

property_assignment:
    property '=' value
  | object
  ;

property:
    tkIdentifier
  | property '.' tkIdentifier
  ;

value:
    atomic_value
  | set
  | binary_data
  | strings
  | collection
  ;

atomic_value:
    tkInteger
  | tkReal
  | tkIdentifier
  | tkBoolean
  | tkHexNumber
  | long_string
  ;

long_string:
    tkStringLiteral
  | long_string '+' tkStringLiteral
  ;

atomic_value_list:
    atomic_value
  | atomic_value_list ',' atomic_value
  ;

set:
    '[' ']'
  | '[' atomic_value_list ']'
  ;

binary_data:
    '{' '}'
  | '{' hexa_lines '}'
  ;

hexa_lines:
    tkHexValue
  | hexa_lines tkHexValue
  ;

strings:
    '(' ')'
  | '(' string_list ')'
  ;

string_list:
    tkStringLiteral
  | string_list tkStringLiteral
  ;

collection:
    '<' '>'
  | '<' collection_item_list '>'
  ;

collection_item_list:
    collection_item
  | collection_item_list collection_item
  ;

collection_item:
    tkIdentifier property_assignment_list tkObjectEnd
  ;

%%

void yyerror(const char *s, ...) {...}

Проблема с этой грамматикой возникает при разборе двоичных данных.Двоичные данные в файлах dfm - это не что иное, как последовательность шестнадцатеричных символов, которая никогда не занимает более 80 символов в строке.Примером этого является: 

Picture.Data = {
      055449636F6E0000010001002020000001000800A80800001600000028000000
      2000000040000000010008000000000000000000000000000000000000000000

      ...

      FF00000000000000000000000000000000000000000000000000000000000000
      00000000FF000000FF000000FF00000000000000000000000000000000000000
      00000000}

Как видите, в этом элементе отсутствуют маркеры, поэтому строки конфликтуют с другими элементами.В приведенном выше примере первая строка возвращает правильный токен tkHexValue.Второй, однако, возвращает токен tkInteger, а третий - tkIdentifier.Поэтому, когда происходит синтаксический анализ, происходит сбой с синтаксической ошибкой , поскольку двоичные данные состоят только из tkHexValue токенов.

Мой первый обходной путь состоял в том, чтобы целочисленные значения имели максимальную длину (что помогло во всех, кроме последней строки двоичных данных).И второе - переместить токен tkHexValue над tkIdentifier, но это означает, что теперь у меня не будет идентификаторов, таких как F0

Мне было интересно, есть ли способ исправить эту грамматику?

1 Ответ

1 голос
/ 21 февраля 2011

Хорошо, я решил это.Мне нужно было определить состояние, поэтому tkHexValue возвращается только при чтении двоичных данных.В преамбуле лексера я добавил 

%x BINARY

и изменил следующие правила 

"{" {BEGIN BINARY; return yytext[0];}
<BINARY>"}" {BEGIN INITIAL; return yytext[0];}
<BINARY>[ \t\r\n] { /* ignore whitespace */ }

И это все!

...