Алгоритм Boost Inflate декомпрессия - PullRequest
Новая
       104

Алгоритм Boost Inflate декомпрессия

2 голосов
/ 21 июня 2020

Я разрабатываю простой тестовый код с использованием клиента Websocket с использованием C ++ boost. Сервер, от которого я получаю ответ, говорит, что мне нужно распаковать сообщения с помощью алгоритма надувания. Я узнал, что в библиотеке boost Websocket есть опция deflate, но она не сработала. Пожалуйста, дайте мне знать, как преобразовать данные в распакованную строку. 

#include <iostream>
#include <string>
#include <boost/beast/core.hpp>
#include <boost/beast/websocket.hpp>
#include <boost/asio/connect.hpp>
#include <boost/asio/ip/tcp.hpp>
#include <boost/beast/websocket/ssl.hpp>
#include <boost/asio/ssl.hpp>
#include <chrono>

using tcp = boost::asio::ip::tcp;
namespace websocket = boost::beast::websocket;

int main()
{
    std::ostringstream stream;
    std::string host = "real.okex.com";
    auto const port = "8443";
    auto const path = "/ws/v3";
    boost::beast::multi_buffer buffer;
    boost::asio::io_context ioc;
    boost::asio::ssl::context ctx{boost::asio::ssl::context::sslv23};
    tcp::resolver resolver{ioc};
    websocket::stream<boost::asio::ssl::stream<boost::asio::ip::tcp::socket>> wss{ioc, ctx};

    ctx.set_verify_mode(boost::asio::ssl::verify_none);
    tcp::resolver::results_type results = resolver.resolve(host, port);
    boost::asio::connect(wss.next_layer().next_layer(), results.begin(), results.end());

    // SSL handshake
    wss.next_layer().handshake(boost::asio::ssl::stream_base::client);

    // websocket handshake
    wss.handshake(host, path);

    std::cout << "connected" << std::endl;

    // send request to the websocket
    wss.write(boost::asio::buffer("{'op':'subscribe', 'args':['spot/ticker:ETH-USDT']}"));

    // read message
    wss.read(buffer);
    std::cout << buffer.size() << std::endl;
    buffer.consume(buffer.size());

    /*
    stream << boost::beast::buffers(buffer.data());
    buffer.consume(buffer.size());
    std::string incoming = stream.str();
    std::cout << incoming << std::endl;
    */
}

Спасибо!

1 Ответ

0 голосов
/ 22 июня 2020

Я долго боролся, потом подумал, а что, если я попробую с другим сервером?

Это помогло. Я взял echo_compressed/server.py с автобана : 

wget 'https://github.com/crossbario/autobahn-python/raw/master/examples/twisted/websocket/echo_compressed/server.py'
virtualenv venv && . venv/bin/activate && pip install autobahn twisted
python server.py

Это запускает сервер WS на порту 9000. Он не использует SSL, поэтому я отключил это в коде (см. #ifdef SSL ниже).

Теперь нужно установить параметр расширения permessage_deflate перед рукопожатие WS : 

websocket::permessage_deflate opt;
opt.client_enable = true; // for clients
opt.server_enable = true; // for servers
s.set_option(opt);

Также отмечено, что некоторые серверы требуют, чтобы имя порта присутствовало в заголовке хоста, когда они не работают на стандартных портах: 

s.handshake(host + ":" + port, path);

Теперь чтение работает нормально и сдувается, как и следовало ожидать, например, записывать его в response.txt: 

beast::multi_buffer buffer;
s.read(buffer);
{
    std::ofstream ofs("response.txt", std::ios::binary);
    std::copy(
            net::buffers_begin(buffer.data()),
            net::buffers_end(buffer.data()),
            std::ostreambuf_iterator<char>(ofs));
}

Или, при замене multi_buffer на Asio streambuf, его легко просто передать в потоковом режиме: 

net::streambuf buffer;
s.read(buffer);
std::cout << &buffer;

Доказательство того, что он сдувался

Проверка трафика c с помощью tcpdump / Wireshark показывает это. Кроме того, журнал автобана подтверждает это: 

2020-06-22 02:12:05+0200 [-] Log opened.
2020-06-22 02:12:05+0200 [-] WebSocketServerFactory starting on 9000
2020-06-22 02:12:05+0200 [-] Starting factory <autobahn.twisted.websocket.WebSocketServerFactory object at 0x7f7af3fa5710>
2020-06-22 02:12:05+0200 [-] Site starting on 8080
2020-06-22 02:12:05+0200 [-] Starting factory <twisted.web.server.Site instance at 0x7f7af3850910>
2020-06-22 02:12:11+0200 [-] WebSocket connection request by tcp4:127.0.0.1:48658
2020-06-22 02:12:11+0200 [-] WebSocket extensions in use: [PerMessageDeflate(is_server = True, server_no_context_takeover = False, client_no_context_takeover = False, server_max_window_bits = 15, client_max_window_bits = 15, mem_level = 8)]

Проблема с этим сервером (real.okex.com)

Я не знаю, что насчет этого, правда, но кажется, что сервер не отправляет стандартные ответы. Возможно, кто-то другой может сказать. Запись ответов в файл НЕ привела к созданию файла, который выглядит так, как будто он zlib сжат.

Попробованные другие инструменты ТАКЖЕ не смогли декодировать данные:

  • zlib-flate -uncompress

  • То же самое с python oneliner: 

    python -c 'import zlib; import sys; sys.stdout.write(zlib.decompress(sys.stdin.read()))' < response.txt

Полный список

Как я тестировал с: 

#include <boost/asio/ip/tcp.hpp>
#include <boost/asio/ssl.hpp>
#include <boost/asio.hpp>
#include <boost/beast.hpp>
#include <boost/beast/websocket.hpp>
#include <boost/beast/websocket/ssl.hpp>
#include <iostream>
#include <string>
#include <fstream>

namespace net       = boost::asio;
namespace ssl       = net::ssl;
namespace beast     = boost::beast;
namespace http      = beast::http;
namespace websocket = beast::websocket;
using tcp = net::ip::tcp;
//#define SSL
#ifdef SSL
using stream_t = websocket::stream<ssl::stream<tcp::socket>>;
#else
using stream_t = websocket::stream<tcp::socket/*, true*/>;
#endif

int main(int argc, char** argv) {
    if (argc<4) {
        std::cerr << "Usage: " << argv[0] << " host port path\n";
        return 1;
    }
    std::string host = argc>=2? argv[1] : "real.okex.com";
    auto const port  = argc>=3? argv[2] : "8443";
    auto const path  = argc>=3? argv[3] : "/ws/v3";

    net::io_context ioc;
    ssl::context ctx{ ssl::context::sslv23 };
    tcp::resolver resolver{ ioc };
#ifdef SSL
    stream_t s{ ioc, ctx };
#else
    stream_t s{ ioc };
#endif

    ctx.set_verify_mode(ssl::verify_none);
    tcp::resolver::results_type results = resolver.resolve(host, port);
    net::connect(
            beast::get_lowest_layer(s),
            //s.next_layer().next_layer(),
            results.begin());

#ifdef SSL
    // SSL handshake
    s.next_layer().handshake(ssl::stream_base::client);
#endif

    // websocket handshake
    websocket::permessage_deflate opt;
    opt.client_enable = true; // for clients
    opt.server_enable = true; // for servers
    s.set_option(opt);

    s.handshake(host + ":" + port, path);

    std::cout << "connected" << std::endl;

    // send request to the websocket
    s.write(net::buffer("{'op':'subscribe', 'args':['spot/ticker:ETH-USDT']}"));

    {
        net::streambuf buffer;
        s.read(buffer);
        std::cout << &buffer << std::endl;
    }
}

Затем я работал с

введите описание изображения здесь

...