Парсер / Лексер игнорирует неполные грамматические правила - PullRequest
Новая
       23

Парсер / Лексер игнорирует неполные грамматические правила

4 голосов
/ 18 сентября 2009

У меня есть парсер и лексер, написанные на ocamlyacc и ocamllex. Если файл для анализа заканчивается преждевременно, как, например, в конце строки с запятой, я не вижу синтаксической ошибки. Я понимаю, что это потому, что я поднимаю и ловлю EOF, и это заставляет лексера игнорировать незаконченное правило, но как должно сделать это, чтобы вызвать синтаксическую ошибку?

Вот мой текущий синтаксический анализатор (упрощенно), 

%{
    let parse_error s = Printf.ksprinf failwith "ERROR: %s" s
%}

%token COLON
%token SEPARATOR
%token SEMICOLON
%token <string> FLOAT
%token <string> INT
%token <string> LABEL

%type <Conf.config> command
%start command
%%
  command:
      | label SEPARATOR data SEMICOLON    { Conf.Pair ($1,$3)     }
      | label SEPARATOR data_list         { Conf.List ($1,$3)     }
      | label SEMICOLON                   { Conf.Single ($1)      }
  label :
      | LABEL                             { Conf.Label $1         }
  data :
      | label                             { $1                    }
      | INT                               { Conf.Integer $1       }
      | FLOAT                             { Conf.Float $1         }
  data_list :
      | star_data COMMA star_data data_list_ending
                                          { $1 :: $3 :: $4        }
  data_list_ending:
      | COMMA star_data data_list_ending  { $2 :: $3              }
      | SEMICOLON                         { []                    }

и lexxer (упрощенно), 

{
    open ConfParser
    exception Eof
}

rule token = parse
    | ['\t' ' ' '\n' '\010' '\013' '\012']
                        { token lexbuf   }
    | ['0'-'9']+ ['.'] ['0'-'9']* ('e' ['-' '+']? ['0'-'9']+)? as n
                        { FLOAT n        }
    | ['0'-'9']+ as n   { INT n          }
    | '#'               { comment lexbuf }
    | ';'               { SEMICOLON      }
    | ['=' ':']         { SEPARATOR      }
    | ','               { COMMA          }
    | ['_' 'a'-'z' 'A'-'Z']([' ']?['a'-'z' 'A'-'Z' '0'-'9' '_' '-' '.'])* as w
                        { LABEL w        }
    | eof               { raise Eof      }

and comment = parse
    | ['#' '\n']        { token lexbuf   }
    | _                 { comment lexbuf }

пример входного файла, 

one = two, three, one-hundred;
single label;
list : command, missing, a, semicolon

Одним из решений является добавление рекурсивного вызова в правиле команды к себе в конце и добавление пустого правила, которое создает список для возврата в основную программу. Я думаю, что, возможно, я интерпретирую Eof как ожидание и конечное условие, а не ошибку в лексере, это правильно?

1 Ответ

5 голосов
/ 18 сентября 2009

ocamlyacc не обязательно потребляет весь ввод. Если вы хотите принудительно завершить его, если весь ввод не может быть проанализирован, вам нужно соответствовать EOF в вашей грамматике. Вместо повышения Eof в своем лексере, добавьте маркер EOF и измените свой символ start на 

%type <Conf.config list> main

main:
    EOF { [] }
  | command main { $1::$2 }
...