Я только начал читать Книгу Дракона, и мне трудно понять некоторые утверждения.
В нем говорится: "Лексический анализатор создает последовательность токенов для каждой лексемы в исходной программе".Не могли бы вы помочь мне понять вышеприведенную строку?Я знаю о токенах и лексемах, но что подразумевается под созданием нескольких токенов для каждой лексемы ... Сам AFAIK LEXEME скомпрометировал один токен.
Полная цитата такова:
«На первом этапе компилятора основная задача Lexical Analyzer состоит в том, чтобы прочитать входные символы исходной программы, сгруппировать их в лексемы и вывести на выходе последовательность токенов для каждой лексемы в исходной программе».
Приведенная выше цитата взята из главы 3., раздел 3.1 под заголовком «Роль лексического анализатора», номер страницы 109