Миграция файлов с EC2 на S3

Question

В настоящее время мы создаем веб-сайт, который является своего рода обновлением существующего старого. Мы хотели бы сохранить старые сообщения (включая изображения) на новом веб-сайте. Старые файлы хранятся в экземпляре ec2, в то время как новый веб-сайт является бессерверным и хранит все свои файлы в s3.

Мой вопрос, есть ли способ перенести старые файлы (из ec2) в новый s3 ведро, используя Python. Я хотел бы переименовать и переместить файлы в новом шаблоне имени файла / пути к файлу, который мы решили, разработчики.

Answer 1

Есть набор инструментов boto3, python aws.

https://boto3.amazonaws.com/v1/documentation/api/latest/guide/s3-uploading-files.html

import logging
import boto3
from botocore.exceptions import ClientError


def upload_file(file_name, bucket, object_name=None):
    """Upload a file to an S3 bucket

    :param file_name: File to upload
    :param bucket: Bucket to upload to
    :param object_name: S3 object name. If not specified then file_name is used
    :return: True if file was uploaded, else False
    """

    # If S3 object_name was not specified, use file_name
    if object_name is None:
        object_name = file_name

    # Upload the file
    s3_client = boto3.client('s3')
    try:
        response = s3_client.upload_file(file_name, bucket, object_name)
    except ClientError as e:
        logging.error(e)
        return False
    return True

Вы можете написать скрипт с функцией S3 upload_file, а затем запустить на вашем ec2 локально.