Чтение сжатого объекта S3 по частям - PullRequest
0 голосов
/ 16 июня 2020

У меня сейчас работает код, который использует boto3 для итерации строк текстового файла в S3 с помощью s3_object.get()["Body"].iter_lines(). Есть ли способ сделать что-то подобное с сжатым текстовым файлом? Я видел такие примеры, как { ссылка }, но, насколько я могу судить, они загружают в память весь файл. Есть ли способ сделать это по частям? Я надеялся, что boto3 обнаружит заголовок gzip и сделает это автоматически, но при попытке декодирования я получил ожидаемую ошибку UnicodeDetectError: 'utf-8' codec can't decode byte 0x8b in position 1.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...