В веб-браузере определен неверный ответ zlib gzip (c ++) - PullRequest
0 голосов
/ 18 января 2019

У меня есть приложение FastCGI с C ++. Мне нравится отправлять мой ответ со сжатием gzip клиенту.
(ВЕРСИЯ ZLIB "1.2.11")
Вот пример моего исходного кода:

#pragma warning (disable : 4231)
#pragma warning(disable : 4996)
//3:45 PM 11/24/2018
#if !(defined(_WIN32)||defined(_WIN64)) && (defined(__unix__) || defined(__unix) || (defined(__APPLE__) && defined(__MACH__)))
#error Have to check !TODO
#else
#if !defined(_IOSTREAM_)
#include <iostream>
#endif//!_IOSTREAM_
#ifndef _WINDOWS_
#include <windows.h>
#endif//!_WINDOWS_
#endif//_WIN32||_WIN64/__unix__
#if !defined(_INC_STDIO)
#include <stdio.h>  /* defines FILENAME_MAX, printf, sprintf */
#endif//!_INC_STDIO
#ifndef _XSTRING_
#include <string>// !_XSTRING_// memcpy, memset
#endif //!_XSTRING_
#if !defined(ZLIB_H)
#include <zlib.h>
#endif//!ZLIB_H
#if !defined(_SSTREAM_)
#include <sstream> // std::stringstream
#endif//_SSTREAM_
#if !defined(CHUNK)
#define CHUNK 16384
#endif//!CHUNK
#ifndef OS_CODE
#  define OS_CODE  0x03  /* assume Unix */
#endif//!OS_CODE
#if MAX_MEM_LEVEL >= 8
#  define DEF_MEM_LEVEL 8
#else
#  define DEF_MEM_LEVEL  MAX_MEM_LEVEL
#endif//!MAX_MEM_LEVEL
#if !defined(assert)
#define assert(expression) ((void)0)
#endif//!assert

static int gz_magic[2] = { 0x1f, 0x8b }; /* gzip magic header */
void __write_magic_header(std::stringstream&output) {
    char*dest = (char*)malloc(10);
    sprintf(dest, "%c%c%c%c%c%c%c%c%c%c", gz_magic[0], gz_magic[1], Z_DEFLATED, 0 /*flags*/, 0, 0, 0, 0 /*time*/, 0 /*xflags*/, OS_CODE);
    output.write(const_cast<const char*>(dest), 10);
    free(dest);
};
int ____def_strm(std::stringstream&source, std::stringstream&dest, int level = Z_BEST_SPEED) {
    //6:00 AM 1/18/2019
    int ret, flush;
    unsigned have;
    z_stream strm;
    /* allocate deflate state */
    strm.zalloc = Z_NULL;
    strm.zfree = Z_NULL;
    strm.opaque = Z_NULL;
    ret = deflateInit2_(&strm, level, Z_DEFLATED,
        -MAX_WBITS,
        DEF_MEM_LEVEL, Z_DEFAULT_STRATEGY,
        ZLIB_VERSION, (int)sizeof(z_stream));
    if (ret != Z_OK)
        return ret;
    /* compress until end of stream */
    std::streamsize n;
    source.seekg(0, std::ios::end);//Go to end of stream
    std::streamoff size = source.tellg();
    source.seekg(0, std::ios::beg);//Back to begain of stream
    int write_len = 0;
    do {
        char in[CHUNK];
        n = source.rdbuf()->sgetn(in, CHUNK);
        strm.avail_in = (uInt)n;
        size -= n;
        flush = size <= 0 ? Z_FINISH : Z_NO_FLUSH;
        strm.next_in = (Bytef*)in;
        /* run deflate() on input until output buffer not full, finish
          compression if all of source has been read in */
        do {
            char out[CHUNK];
            strm.avail_out = CHUNK;
            strm.next_out = (Bytef*)out;
            ret = deflate(&strm, flush);    /* no bad return value */
            assert(ret != Z_STREAM_ERROR);  /* state not clobbered */
            have = CHUNK - strm.avail_out;
            dest.write(out, have);
            write_len += have;
        } while (strm.avail_out == 0);
        assert(strm.avail_in == 0);     /* all input will be used */
         /* done when last data in file processed */
    } while (flush != Z_FINISH);
    assert(ret == Z_STREAM_END);        /* stream will be complete */
     /* clean up and return */
    (void)deflateEnd(&strm);
    return write_len;
};
void compress_gzip (std::stringstream&source, std::stringstream&output) {
    __write_magic_header(output);
    ____def_strm(source, output);
    return;
};
void gzip_test(int loop) {
    std::stringstream body(std::stringstream::in | std::stringstream::out | std::stringstream::binary);
    for (int i = 0; i < loop; i++) {
        body << "<b>Hello World</b><br/>";
        body << "<a href=\"/wiki/General-purpose_programming_language\" title=\"General-purpose programming language\">general-purpose programming language</a>";
        body << "\r\n";
    }
    std::stringstream compressed(std::stringstream::in | std::stringstream::out | std::stringstream::binary);
    compress_gzip(body, compressed);
    std::stringstream().swap(body);
    std::cout << compressed.str();
    std::stringstream().swap(compressed);
};
void write_header(const char* ct) {
    std::cout << "Content-Type:" << ct << "\n";
    std::cout << "Accept-Ranges:bytes\n";
};
int main(int argc, char *argv[], char*envp[]) {
    //100 problem ==> ERR_CONTENT_DECODING_FAILED
    //1000 problem ==> ERR_CONTENT_DECODING_FAILED
    //10000 Ok
    write_header("text/plain");
    std::cout << "Content-Encoding:gzip\n";
    std::cout << "\r\n";
    gzip_test(10000);
    return EXIT_SUCCESS;
};

Работает, но я думаю, что в этой программе есть ошибка, но я не могу ее выяснить.
Проблемы показаны ниже:
если gzip_test(10000);, тогда ОК
если gzip_test(100); браузер отображается ERR_CONTENT_DECODING_FAILED
если gzip_test(1000); отображается браузер ERR_CONTENT_DECODING_FAILED
Пожалуйста, помогите мне разобраться с этой ошибкой.

Успешный ответ:
Success response

Ответ об ошибке:
Error response

1 Ответ

0 голосов
/ 18 января 2019

Вы не пишете нижний колонтитул gzip, содержащий CRC и длину данных:

std::streamoff size = source.tellg();
int totalSize = size;
int tcrc = 0;
...
  n = source.rdbuf()->sgetn( in, CHUNK );
  strm.avail_in = (uInt)n;
  tcrc = crc32( tcrc, (uint8_t*)in, n );
...
(void)deflateEnd( &strm );
dest.write( (char*)&tcrc, sizeof( tcrc ) );
dest.write( (char*)&totalSize, sizeof( totalSize ) );
return write_len;

Ваш __write_magic_header метод также неверен, поскольку он выделяет только 10 байтов, но затем записывает 10 символов с sprintfкоторый на самом деле записывает 11 байтов, переполняющих ваш буфер.

В Windows вы не можете отправлять двоичные данные через std::cout, у вас та же проблема, что и при открытии файла с ofstream без указания binary.Чтобы решить эту проблему, перед использованием std::cout:

_setmode( _fileno( stdout ), _O_BINARY );

необходимо указать несколько других моментов, не связанных с вашей проблемой:

  1. не заключайте в свои списки #ifdef,используемые вами макросы являются подробностями реализации и не должны давать / незначительной разницы в производительности современного компилятора.
  2. не используйте «__» в начале имен методов или других идентификаторов, этих имен (наряду с «_»).", за которым следует заглавная буква), зарезервированы для использования компилятором.
...