golang unzip Response.Body - PullRequest
Новая
       38

golang unzip Response.Body

0 голосов
/ 26 мая 2018

Я написал небольшой веб-сканер и знал, что Response - это zip-файл.
Из моего ограниченного опыта программирования на golang я знаю только, как разархивировать существующий файл.
Могу ли я разархивировать Response.Тело в памяти без предварительного сохранения на жестком диске?

1 Ответ

0 голосов
/ 26 мая 2018

Обновление ответа для обработки тела ответа Zip-файла в памяти.

Примечание: Убедитесь, что у вас достаточно памяти для обработки Zip-файла. 

package main

import (
    "archive/zip"
    "bytes"
    "fmt"
    "io/ioutil"
    "log"
    "net/http"
)

func main() {
    resp, err := http.Get("zip file url")
    if err != nil {
        log.Fatal(err)
    }
    defer resp.Body.Close()

    body, err := ioutil.ReadAll(resp.Body)
    if err != nil {
        log.Fatal(err)
    }

    zipReader, err := zip.NewReader(bytes.NewReader(body), int64(len(body)))
    if err != nil {
        log.Fatal(err)
    }

    // Read all the files from zip archive
    for _, zipFile := range zipReader.File {
        fmt.Println("Reading file:", zipFile.Name)
        unzippedFileBytes, err := readZipFile(zipFile)
        if err != nil {
            log.Println(err)
            continue
        }

        _ = unzippedFileBytes // this is unzipped file bytes
    }
}

func readZipFile(zf *zip.File) ([]byte, error) {
    f, err := zf.Open()
    if err != nil {
        return nil, err
    }
    defer f.Close()
    return ioutil.ReadAll(f)
}

По умолчанию Go HTTP-клиент обрабатывает Gzip-ответ автоматически.Как и при обычном прочтении и закрытии тела ответа.

Однако в этом есть одна загвоздка. 

// Reference https://github.com/golang/go/blob/master/src/net/http/transport.go
//
// DisableCompression, if true, prevents the Transport from
// requesting compression with an "Accept-Encoding: gzip"
// request header when the Request contains no existing
// Accept-Encoding value. If the Transport requests gzip on
// its own and gets a gzipped response, it's transparently
// decoded in the Response.Body. However, if the user
// explicitly requested gzip it is not automatically
// uncompressed.
DisableCompression bool

Что это значит;Если вы добавляете заголовок Accept-Encoding: gzip вручную в запросе, вам придется самостоятельно обрабатывать тело ответа Gzip.

Например - 

reader, err := gzip.NewReader(resp.Body)
if err != nil {
    log.Fatal(err)
}
defer reader.Close()

body, err := ioutil.ReadAll(reader)
if err != nil {
    log.Fatal(err)
}

fmt.Println(string(body))
...