Как скопировать JSON-файл в Amazon S3 с помощью Python

Question

Я экспериментирую с записью файла JSON в AWS S3. Ниже приведен пример кода. Это файл, который я хочу написать 'fileNew.json'. И 'fileOld.json' - это существующий файл в S3, который я по ошибке включил в код и не должен быть в коде.

df.to_json('fileNew.json', orient='records',lines=True)

os.system('aws s3 cp fileNew.json s3://sbx-myproject/fileOld.json --sse')

Заменяет ли указанная команда существующий файл? ИЛИ Это будет просто неудачно при создании нового файла?

Answer 1

Если файл уже существует, он будет автоматически перезаписан. Так что да, fileOld.json будет заменен файлом, который вы загружаете.

Пока ваш код будет работать, рекомендуется использовать AWS SDK вместо выполнения команд оболочки.

import boto3

data = open('fileNew.json', 'rb')
s3 = boto3.resource('s3')
s3.Bucket('sbx-myproject').put_object(Key='fileOld.json', Body=data)