Распаковать строку gzip с голангом - PullRequest
Новая
       22

Распаковать строку gzip с голангом

0 голосов
/ 10 апреля 2019

У меня есть строка, содержащая сжатую GZIP-строку, поэтому нет заголовков файлов, стандартная compress/gzip ошибка сгенерированных библиотек gzip: invalid header

Как мне распаковать сжатую GZIP-строку в Go?

Это то, что я пытаюсь 

nbody := "eNorTk0uSi0BAAjRAoc="
rdata := strings.NewReader(nbody)
r,err := gzip.NewReader(rdata)
log.Println(r)
if err != nil {
    log.Fatal(err)
}
s, _ := ioutil.ReadAll(r)
fmt.Println(string(s))

Ответы [ 3 ]

6 голосов
/ 10 апреля 2019

... У меня есть строка, которая содержит сжатую gzip строку 

nbody := "eNorTk0uSi0BAAjRAoc="

Это не "сжатая gzip строка". Это похоже на некоторые закодированные в base64 данные, которые необходимо декодировать в первую очередь. После декодирования это также не gzip, а zlib - который в основном совпадает с gzip (содержимое сжато с помощью алгоритма deflate), но с другим заголовком файла. Поэтому попытка расшифровать его с помощью gzip не будет работать.

Следующее поэтому возьмет вашу исходную строку, расшифрует ее из base64 и распакует ее, используя zlib (не gzip): 

package main

import (
        "bytes"
        "compress/zlib"
        "encoding/base64"
        "fmt"
        "io/ioutil"
)

func main() {
        b64z := "eNorTk0uSi0BAAjRAoc="
        z, _ := base64.StdEncoding.DecodeString(b64z)
        r, _ := zlib.NewReader(bytes.NewReader(z))
        result, _ := ioutil.ReadAll(r)
        fmt.Println(string(result))  // results in "secret"
}
0 голосов
/ 10 апреля 2019

Если у вас большие входные данные, вы можете вместо этого использовать потоки и собственную цепочку декодеров.

Преимущество состоит в том, что (кроме этого примера) ни кодированный вход, ни декодированный выход не должны находиться в ОЗУ. 

package main

import (
    "bytes"
    "compress/zlib"
    "encoding/base64"
    "fmt"
    "io"
    "log"
    "os"
    "strings"
)

const nbody = "eNorTk0uSi0BAAjRAoc="

func main() {

    _, err := io.Copy(os.Stdout, decoder(strings.NewReader(nbody)))
    if err != nil {
        log.Fatalf("Error copying decoded value to stdout: %s",err)
    }
}

// This could use any io.Reader as input, for example
// a request body in http requests
func decoder(r io.Reader) io.Reader {

    // We simply set up a custom chain of Decoders
    d, err := zlib.NewReader(
        base64.NewDecoder(base64.StdEncoding, r))

    // This should only occur if one of the Decoders can not reset
    // its internal buffer. Hence, it validates a panic.
    if err != nil {
        panic(fmt.Sprintf("Error setting up decoder chain: %s", err))
    }

    // We return an io.Reader which can be used as any other
    return d

}

Бег на детской площадке

0 голосов
/ 10 апреля 2019

строка никому не является данными gzip.У gzip есть заголовок gzip. (https://golang.org/src/compress/gzip/gunzip.go?s=1297:1500#L42)

package main

import (
    "bytes"
    "compress/gzip"
    "fmt"
    "io"
    "io/ioutil"
    "log"
)

func main() {
    nbody := "eNorTk0uSi0BAAjRAoc="

    fmt.Println("original:\t", nbody)

    var buf bytes.Buffer
    err := gzipWrite(&buf, []byte(nbody))
    if err != nil {
        log.Fatal(err)
    }
    fmt.Println("compressed:\t", buf.String())

    var buf2 bytes.Buffer
    err = gunzipWrite(&buf2, buf.Bytes())
    if err != nil {
        log.Fatal(err)
    }
    fmt.Println("decompressed:\t", buf2.String())
}

func gzipWrite(w io.Writer, data []byte) error {
    gw, err := gzip.NewWriterLevel(w, gzip.BestSpeed)
    defer gw.Close()
    gw.Write(data)
    return err
}

func gunzipWrite(w io.Writer, data []byte) error {
    gr, err := gzip.NewReader(bytes.NewBuffer(data))
    defer gr.Close()
    data, err = ioutil.ReadAll(gr)
    if err != nil {
        return err
    }
    w.Write(data)
    return nil
}
...