Использование сгенерированного lex исходного кода в другом файле - PullRequest
Новая
       41

Использование сгенерированного lex исходного кода в другом файле

5 голосов
/ 04 ноября 2011

Я хотел бы использовать код, сгенерированный lex, в другом коде, который у меня есть, но все примеры, которые я видел, это встраивание основной функции в файл lex, а не наоборот.

возможно ли этоиспользовать (включить) сгенерированный файл из lex в другой код, чтобы иметь что-то подобное (не обязательно то же самое)? 

#include<something>
int main(){
    Lexer l = Lexer("some string or input file");
    while (l.has_next()){
        Token * token = l.get_next_token();
        //somecode
    }
    //where token is just a simple object to hold the token type and lexeme
    return 0;
}

Ответы [ 3 ]

7 голосов
/ 04 ноября 2011

Вот с чего бы я начал:
Примечание: это пример использования интерфейса C
Для использования интерфейса C ++ добавьте %option c++ См. Ниже

Test.lex 

IdentPart1      [A-Za-z_]
Identifier      {IdentPart1}[A-Za-z_0-9]*
WHITESPACE      [ \t\r\n]

%option noyywrap

%%

{Identifier}      {return 257;}
{WHITESPACE}      {/* Ignore */}
.                 {return 258;}

%%

// This is the bit you want.
// It is best just to put this at the bottom of the lex file
// By default functions are extern. So you can create a header file with
// these as extern then included that header file in your code (See Lexer.h)
void* setUpBuffer(char const* text)
{
    YY_BUFFER_STATE buffer  = yy_scan_string(text);
    yy_switch_to_buffer(buffer);

    return buffer;
}

void tearDownBuffer(void* buffer)
{
    yy_delete_buffer((YY_BUFFER_STATE)buffer);
}

Lexer.h 

#ifndef LOKI_A_LEXER_H
#define LOKI_A_LEXER_H

#include <string>

extern int   yylex();
extern char* yytext;
extern int   yyleng;

// Here is the interface to the lexer you set up above
extern void* setUpBuffer(char const* text);
extern void  tearDownBuffer(void* buffer);


class Lexer
{
    std::string         token;
    std::string         text;
    void*               buffer;
    public:
    Lexer(std::string const& t)
        : text(t)
    {
        // Use the interface to set up the buffer
        buffer  = setUpBuffer(text.c_str());
    }
    ~Lexer()
    {
        // Tear down your interface
        tearDownBuffer(buffer);
    }
    // Don't use RAW pointers
    // This is only a quick and dirty example.
    bool  nextToken()
    {
        int val = yylex();
        if (val != 0)
        {
            token = std::string(yytext, yyleng);
        }
        return val;
    }
    std::string const& theToken() const {return token;}
};

#endif

main.cpp 

#include "Lexer.h"
#include <iostream>

int main()
{
    Lexer l("some string or input file");


    // Did not like your hasToken() interface.
    // Just call nextToken() until it fails.
    while (l.nextToken())
    {
        std::cout << l.theToken() << "\n";
        delete token;
    }
    //where token is just a simple object to hold the token type and lexeme
    return 0;
}

Сложение 

> flext test.lex
> g++ main.cpp  lex.yy.c
> ./a.out
some
string
or
input
file
>

В качестве альтернативы вы можете использовать интерфейс C ++ для гибкого (его эксперимент)

test.lext 

%option c++


IdentPart1      [A-Za-z_]
Identifier      {IdentPart1}[A-Za-z_0-9]*
WHITESPACE      [ \t\r\n]

%%

{Identifier}      {return 257;}
{WHITESPACE}      {/* Ignore */}
.                 {return 258;}

%%

// Note this needs to be here
// If you define no yywrap() in the options it gets added to the header file
// which leads to multiple definitions if you are not careful.
int yyFlexLexer::yywrap()   { return 1;}

main.cpp 

#include "MyLexer.h"
#include <iostream>
#include <sstream>

int main()
{
    std::istringstream  data("some string or input file");
    yyFlexLexer l(&data, &std::cout);


    while (l.yylex())
    {
        std::cout << std::string(l.YYText(), l.YYLeng()) << "\n";
    }
    //where token is just a simple object to hold the token type and lexeme
    return 0;
}

сборка 

> flex --header-file=MyLexer.h test.lex
> g++ main.cpp lex.yy.cc
> ./a.out
some
string
or
input
file
>
0 голосов
/ 05 ноября 2011

Ключевые слова: %option reentrant или %option c++.

Например, сканер ncr2a : 

/** ncr2a_lex.l: Replace all NCRs by corresponding printable ASCII characters. */
%%
&#(1([01][0-9]|2[0-6])|3[2-9]|[4-9][0-9]); { /* accept 32..126 */
  /** `+2` skips '&#', `atoi()` ignores ';' at the end */
  fputc(atoi(yytext + 2), yyout); /* non-recursive version */
}

Код сканера можно оставить без изменений.

Вот программа, которая его использует: 

/** ncr2a.c */
#include "ncr2a_lex.h"  

typedef struct {
  int i,j; /** put here whatever you need to keep extra state */
} State; 

int main () {
  yyscan_t scanner;
  State my_custom_data = {0,0};

  yylex_init(&scanner);
  yyset_extra(&my_custom_data, scanner);

  yylex(scanner);

  yylex_destroy(scanner);
  return 0;
}

Для сборки ncr2a исполняемый файл: 

flex -R -oncr2a_lex.c --header-file=ncr2a_lex.h ncr2a_lex.l 
cc -c -o ncr2a_lex.o ncr2a_lex.c
cc -o ncr2a ncr2a_lex.o ncr2a.c -lfl

Пример 

$ echo 'three colons &#58;&#58;&#58;' | ./ncr2a
three colons :::

В этом примере используется ввод / вывод stdin / stdout, и он вызывает yylex() один раз.

Для чтения из файла: 

yyin = fopen("input.txt", "r" );

@ Ответ Локи Астари показывает, как читать из строки (buffer = yy_scan_string(text, scanner); yy_switch_to_buffer(buffer, scanner)) .

Чтобы вызвать yylex() один раз для каждого токена, добавьте return в определения правил, которые дают полный токен в файле *.l.

0 голосов
/ 04 ноября 2011

Конечно.Я не уверен насчет сгенерированного класса;мы используем сгенерированные синтаксические анализаторы C и вызываем их из C ++.Или вы можете вставить любой код обёртки, который вы хотите, в файл lex и вызывать все что угодно вне сгенерированного файла.

...