При использовании библиотеки python rply я получаю неожиданную ошибку токена при разборе более одной строки. Как я могу это исправить? - PullRequest
Новая
       20

При использовании библиотеки python rply я получаю неожиданную ошибку токена при разборе более одной строки. Как я могу это исправить?

0 голосов
/ 19 января 2019

Для практики я решил работать на простом языке.Когда только одна строка, мой сказать ();Команда работает нормально, но когда я делаю два сообщения подряд, я получаю сообщение об ошибке.

Для синтаксического анализа я использую rply.Я следовал этому руководству (https://blog.usejournal.com/writing-your-own-programming-language-and-compiler-with-python-a468970ae6df). Я искал экстенсивно, но не могу найти решение.

Это код Python: 

from rply import ParserGenerator
from ast import Int, Sum, Sub, Say, String


class Parser():
   def __init__(self):
        self.pg = ParserGenerator(
            # A list of all token names accepted by the parser.
            ['INTEGER', 'SAY', 'OPEN_PAREN', 'CLOSE_PAREN',
             'SEMI_COLON', 'SUM', 'SUB', 'STRING']
        )

    def parse(self):
        @self.pg.production('say : SAY OPEN_PAREN expression CLOSE_PAREN SEMI_COLON')
        def say(p):
            return Say(p[2])

        @self.pg.production('expression : expression SUM expression')
        @self.pg.production('expression : expression SUB expression')
        def expression(p):
            left = p[0]
            right = p[2]
            operator = p[1]
            if operator.gettokentype() == 'SUM':
                return Sum(left, right)
            elif operator.gettokentype() == 'SUB':
                return Sub(left, right)

        @self.pg.production('expression : INTEGER')
        def int(p):
            return Int(p[0].value)

        @self.pg.production('expression : STRING')
        def string(p):
            return String(p[0].value)

        @self.pg.error
        def error_handler(token):
            raise ValueError("Ran into a %s where it wasn't expected" % token.gettokentype())

    def get_parser(self):
        return self.pg.build()

Когда я запускаю свойпрограмма с вводом: 

say("yo");

Он работает нормально и возвращает йо. Однако, когда я ввожу: 

say("yo");
say("yoyo");

Я ожидаю, что это вернет йо йойо, но вместо этого я получаю этоошибка: 

C:\Users\gdog1\Desktop\proj\intparser.py:42: ParserGeneratorWarning: 4 
shift/reduce conflicts
  return self.pg.build()
Traceback (most recent call last):
  File "<input>", line 1, in <module>
  File "C:\Program Files\JetBrains\PyCharm Community Edition 2018.3.3\helpers\pydev\_pydev_bundle\pydev_umd.py", line 197, in runfile
    pydev_imports.execfile(filename, global_vars, local_vars)  # execute the script
  File "C:/Users/gdog1/Desktop/proj/main.py", line 20, in <module>
    parser.parse(tokens).eval()
  File "C:\Python27\lib\site-packages\rply\parser.py", line 60, in parse
    self.error_handler(lookahead)
  File "C:\Users\gdog1\Desktop\proj\intparser.py", line 39, in error_handler
    raise ValueError("Ran into a %s where it wasn't expected" % 
token.gettokentype())
ValueError: Ran into a SAY where it wasn't expected

Ответы [ 2 ]

0 голосов
/ 19 января 2019

Ваша грамматика описывает одну команду: 

say : SAY OPEN_PAREN expression CLOSE_PAREN SEMI_COLON

Это то, что принимает синтаксический анализатор.

Если вы хотите, чтобы ввод состоял из нескольких команд, вам нужно написать грамматику, которая описывает этот ввод: 

program : 
program : program say
0 голосов
/ 19 января 2019

В качестве ошибки говорится о ней с помощью следующей строки: 

raise ValueError("Ran into a %s where it wasn't expected" % token.gettokentype())

Измените его, как показано ниже, и проверьте: 

raise ValueError('Ran into a %s where it wasn't expected' % (token.gettokentype()))
...