Преобразование паркета на S3 в струнный - PullRequest
0 голосов
/ 11 июля 2020

Я пытаюсь прочитать паркетный файл, не зная структуры, хранящейся в golang, из корзины S3.

Используя тело из структуры GetObjectOutput, https://docs.aws.amazon.com/sdk-for-go/api/service/s3/#GetObjectOutput, Я передаю его ioutil и конвертирую в строку, но когда я печатаю строку, она читает все не на своем месте, как если бы я открыл файл паркета с помощью текстового редактора.

res, _ := svc.GetObject(&s3.GetObjectInput {
                Bucket: aws.String(bucket),
                Key: obj.Key,           
            })
b, _ := ioutil.ReadAll(res.Body)
fmt.Printf("%v", string(b))

1 Ответ

0 голосов
/ 15 июля 2020

Совет Джона Ротенштейна использовать паркетный ридер был точен.

Я смог использовать https://github.com/xitongsys/parquet-go для анализа паркетного файла.

https://github.com/xitongsys/parquet-go-source, также можно использовать для получения файла паркета из s3.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...