Ошибка нехватки памяти при использовании для чтения объекта S3 с помощью boto3 - PullRequest
0 голосов
/ 25 мая 2020

Использование boto3 для чтения объекта приводит к ошибке нехватки памяти -

org. python .netty.util.internal.OutOfDirectMemoryError: не удалось выделить 16777216 байт (ов) прямой памяти (использовано: 2080374784 , макс: 2092957696) в строке номер 407

s3 = boto3.resource('s3')
csv_obj = s3.Object(bucket_name, key).get(Range= 'bytes=0-2048')
...