Конвертируйте json в csv из одной корзины S3 и загружайте в другую корзину S3 через AWS Lambda

Question

Я пробовал код ниже, но я не могу преобразовать данные из json в CSV. Может кто-нибудь помочь мне?

import boto3
import botocore
import csv
def lambda_handler(event, context):
    BUCKET_NAME = 'name of the bucket' # replace with your bucket name
    KEY = 'OUTPUT.csv' # replace with your object key
    json_data = [{"id":"1","name":"test"},{"id":"2","name":"good"}]
    with open("data.csv", "w") as file:
        csv_file = csv.writer(file)
        csv_file.writerow(['id', 'name'])
        for item in data:
            csv_file.writerow([item.get('id'),item.get('name')])

    csv_binary = open('data.csv', 'rb').read()
    try:
        obj = s3.Object(BUCKET_NAME, KEY)
        obj.put(Body=csv_binary)
    except botocore.exceptions.ClientError as e:
        if e.response['Error']['Code'] == "404":
            print("The object does not exist.")
        else:
            raise
    s3client = boto3.client('s3')
    try:
        download_url = s3client.generate_presigned_url(
                         'get_object',
                          Params={
                              'Bucket': BUCKET_NAME,
                              'Key': KEY
                              },
                          ExpiresIn=3600
        )
        return {"csv_link": download_url}
    except Exception as e:
        raise utils_exception.ErrorResponse(400, e, Log)

Вот ответ, который я получаю для приведенного выше кода:

{
  "errorMessage": "[Errno 30] Read-only file system: 'data.csv'",
  "errorType": "OSError",
  "stackTrace": [
    "  File \"/var/task/lambda_function.py\", line 8, in lambda_handler\n    with open(\"data.csv\", \"wb\") as file:\n"
  ]
}

Answer 1

В AWS Lambda вы можете создавать файлы только в каталоге /tmp/. Поэтому используйте:

with open("/tmp/data.csv", "w") as file:

Предоставляется максимум 512 МБ, поэтому рекомендуется удалить любые временные файлы, чтобы они не мешали будущему выполнению функции Lambda.