Как читать большие файлы в ec2 для линий данных Aws? - PullRequest
0 голосов
/ 02 ноября 2019

У меня есть скрипт на python, который читает файлы .gz из S3 в конвейере данных. Некоторые из файлов .gz находятся в диапазоне 2-6 ГБ. Я попытался загрузить файл и распаковать его, а также прочитать объект как поток из s3, но в результате я получил сообщение Errno 28: Нет свободного места на устройстве. Используемый экземпляр должен иметь более чем достаточно памяти для обработки. Кто-нибудь знает обходной путь?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...