ошибка памяти при записи большого кадра данных в S3 AWS

Question

Я создал фрейм данных следующей формы, используя amazon sagemaker.

10612611 rows × 4 columns

Все это числовые значения c. Когда я пытаюсь записать этот фрейм данных в мою корзину S3 следующим образом, я получаю ошибку памяти.

bytes_to_write = df.to_csv(None).encode()
with s3.open('aws-athena-query-results-xxxxxxx/query_result/xx.csv','wb') as f:
    f.write(bytes_to_write)

MemoryError:

Я использую мл .t2.medium для экземпляра Sagemaker.

Answer 1

Я решил эту проблему, изменив тип экземпляра с ml.t2.medium на ml.t2.2xlarge , и он работал отлично.

Оригинальная проблема был с ОЗУ типа экземпляра, а не с S3.