Spirit X3, как с ошибкой разобрать на входе не ascii? - PullRequest
Новая
       50

Spirit X3, как с ошибкой разобрать на входе не ascii?

1 голос
/ 06 июля 2019

Таким образом, цель состоит в том, чтобы не допускать символы от 80h до FFh во входной строке.У меня сложилось впечатление, что 

using ascii::char_;

позаботится об этом.Но, как вы можете видеть в примере кода, он с радостью распечатает успешный синтаксический анализ.

В следующем сообщении списка рассылки Spirit Джоэл предложил разрешить синтаксический анализ этих символов, отличных от ascii.Но я не уверен, что он поступил так. [Spirit-general] кодировка ascii assert на неверном вводе ...

Вот мой пример кода: 

#include <iostream>
#include <boost/spirit/home/x3.hpp>

namespace client::parser
{
    namespace x3 = boost::spirit::x3;
    namespace ascii = boost::spirit::x3::ascii;

    using ascii::char_;
    using ascii::space;
    using x3::lexeme;
    using x3::skip;

    const auto quoted_string = lexeme[char_('"') >> *(char_ - '"') >> char_('"')];
    const auto entry_point = skip(space) [ quoted_string ];
}

int main()
{
    for(std::string const input : { "\"naughty \x80" "bla bla bla\"" }) {
        std::string output;
        if (parse(input.begin(), input.end(), client::parser::entry_point, output)) {
            std::cout << "Parsing succeeded\n";
            std::cout << "input:  " << input << "\n";
            std::cout << "output: " << output << "\n";
        } else {
            std::cout << "Parsing failed\n";
        }
    }
}

Как изменить пример, чтобы Spirit был настроен напотерпеть неудачу на этом неверном вводе?

Кроме того, но очень тесно связано, я хотел бы знать, как я должен использовать синтаксический анализатор символов, который определяет кодировку char_set.Вы знаете char_(charset) из Документы X3: синтаксические анализаторы разрабатывают ветку .

В документации так не хватает, чтобы описать основные функции.Почему люди из высшего руководства не могут заставить авторов библиотек приходить с документацией хотя бы на уровне cppreference.com?

Ответы [ 2 ]

2 голосов
/ 07 июля 2019

Ничего плохого в документах здесь нет.Это просто ошибка библиотеки.

Где код для any_char говорит: 

template <typename Char, typename Context>
bool test(Char ch_, Context const&) const
{
    return ((sizeof(Char) <= sizeof(char_type)) || encoding::ischar(ch_));
}

Он должен был сказать 

template <typename Char, typename Context>
bool test(Char ch_, Context const&) const
{
    return ((sizeof(Char) <= sizeof(char_type)) && encoding::ischar(ch_));
}

Это заставляет вашу программу вести себя так, как ожидаетсяи требуется.Это поведение также соответствует поведению Ци:

Live On Coliru 

#include <boost/spirit/include/qi.hpp>

int main() {
    namespace qi = boost::spirit::qi;

    char const* input = "\x80";
    assert(!qi::parse(input, input+1, qi::ascii::char_));
}

Подали ошибку здесь: https://github.com/boostorg/spirit/issues/520

0 голосов
/ 07 июля 2019

Вы можете добиться этого, используя print парсер: 

#include <iostream>
#include <boost/spirit/home/x3.hpp>

namespace client::parser
{
    namespace x3 = boost::spirit::x3;
    namespace ascii = boost::spirit::x3::ascii;

    using ascii::char_;
    using ascii::print;
    using ascii::space;
    using x3::lexeme;
    using x3::skip;

    const auto quoted_string = lexeme[char_('"') >> *(print - '"') >> char_('"')];
    const auto entry_point = skip(space) [ quoted_string ];
}

int main()
{
    for(std::string const input : { "\"naughty \x80\"", "\"bla bla bla\"" }) {
        std::string output;
        std::cout << "input:  " << input << "\n";
        if (parse(input.begin(), input.end(), client::parser::entry_point, output)) {
            std::cout << "output: " << output << "\n";
            std::cout << "Parsing succeeded\n";
        } else {
            std::cout << "Parsing failed\n";
        }
    }
}

Вывод: 

input:  "naughty �"
Parsing failed
input:  "bla bla bla"
output: "bla bla bla"
Parsing succeeded

https://wandbox.org/permlink/HSoB8uqMC3WME5yI

Это удивительноДело в том, что по какой-то причине проверка для char_ выполняется только тогда, когда sizeof(iterator char type) > sizeof(char): 

#include <boost/spirit/home/x3.hpp>
#include <iostream>
#include <string>
#include <boost/core/demangle.hpp>
#include <typeinfo>

namespace x3 = boost::spirit::x3;

template <typename Char>
void test(Char const* str)
{
    std::basic_string<Char> s = str;
    std::cout << boost::core::demangle(typeid(Char).name()) << ":\t";
    Char c;
    auto it = s.begin();
    if (x3::parse(it, s.end(), x3::ascii::char_, c) && it == s.end())
        std::cout << "OK: " << int(c) << "\n";
    else
        std::cout << "Failed\n";
}

int main()
{
    test("\x80");
    test(L"\x80");
    test(u8"\x80");
    test(u"\x80");
    test(U"\x80");
}

Выход: 

char:   OK: -128
wchar_t:    Failed
char8_t:    OK: 128
char16_t:   Failed
char32_t:   Failed

https://wandbox.org/permlink/j9PQeRVnGZQeELFA

...