получить изображение с URL на S3 - PullRequest
2 голосов
/ 23 октября 2019

Цель состоит в том, чтобы AWS лямбда-копировала определенный jpg из URL-адреса каждый день в корзину S3. Это похоже на супер простую лямбда-функцию, но она просто не работает. У меня есть эта настройка в качестве локального проекта NPM, а затем загрузить заархивированные файлы в лямбда-консоли AWS. Код ниже работает без ошибок, но не копирует изображение. Любая помощь будет принята с благодарностью.

"use strict";

const AWS = require("aws-sdk");
const Jimp = require("jimp");
const s3 = new AWS.S3();
const imageType = "image/jpeg";
const bucket = 'mybucket';

exports.handler = (event, context, callback) => {
    let objectKey = 'myimage.jpg';

    Jimp.read('sampleURL.com/image.jpg')
    .then(image => {
        s3.putObject({
            Bucket: bucket,
            Key: objectKey,
            Body: image,
            ContentType: imageType
        })
    })
    .catch(err => {
        // Handle an exception.
    });


};

aws logw Cloudwatch

2019-10-24T12:48:23.105Z    bac7d80e-5544-4ea5-ae12-478281338389    INFO    { Error: Could not find MIME for Buffer <null>
    at Jimp.parseBitmap (/var/task/node_modules/@jimp/core/dist/utils/image-bitmap.js:120:15)
    at Jimp.parseBitmap (/var/task/node_modules/@jimp/core/dist/index.js:506:32)
    at /var/task/node_modules/@jimp/core/dist/index.js:448:15
    at /var/task/node_modules/@jimp/core/dist/index.js:176:14
    at /var/task/node_modules/@jimp/core/dist/request.js:66:9
    at IncomingMessage.<anonymous> (/var/task/node_modules/phin/lib/phin.compiled.js:1:2100)
    at IncomingMessage.emit (events.js:203:15)
    at IncomingMessage.EventEmitter.emit (domain.js:448:20)
    at endReadableNT (_stream_readable.js:1145:12)
    at process._tickCallback (internal/process/next_tick.js:63:19) methodName: 'constructor' }
END RequestId: bac7d80e-5544-4ea5-ae12-478281338389
REPORT RequestId: bac7d80e-5544-4ea5-ae12-478281338389  Duration: 612.63 ms Billed Duration: 700 ms Memory Size: 128 MB Max Memory Used: 97 MB  Init Duration: 557.69 ms    

Ответы [ 3 ]

0 голосов
/ 24 октября 2019

Вот пример того, как передать файл с URL-адреса HTTP в S3. Он использует обещания / async / await, а не обратные вызовы, и он обходится без пакета Jimp, о котором я мало знаю, в пользу более традиционного fetch API:

Примечание: если вы явно не предоставляетеcontent-type при загрузке на S3, тогда он будет установлен на application/octet-stream, что будет проблематично, когда клиенты загружают объект. Поэтому этот код сначала определяет тип содержимого файла и устанавливает его при потоковой передаче на S3.

const AWS = require('aws-sdk');
const fetch = require('node-fetch');
const stream = require('stream');
const s3 = new AWS.S3();

const uploadStream = ({ Bucket, Key, ContentType }) => {
  const pass = new stream.PassThrough();
  return {
    writeStream: pass,
    promise: s3.upload({ Bucket, Key, ContentType, Body: pass }).promise(),
  };
}

const uploadFetch = async ({ url, Bucket, Key, ContentType }) => {
  const response = await fetch(url);
  const { writeStream, promise } = uploadStream({Bucket, Key, ContentType});
  response.body.pipe(writeStream);
  return promise;
}

exports.handler = async (_event, _context) => {
  const source_jpeg = {
    Key: 'audi.jpeg',
    Bucket: 'mybucket',
    url: 'https://upload.wikimedia.org/wikipedia/commons/0/08/Audi_A3_2015.jpeg',
  };

  // HEAD the source image to get content type
  const rc_head = await fetch(source_jpeg.url, {method: 'HEAD'});
  const content_type = rc_head.headers.get('content-type');
  console.log('head:', rc_head.status, rc_head.statusText, content_type);

  try {
    // GET the source image and stream it to S3
    const parms = {...source_jpeg, ContentType: content_type};
    const rc_upload = await uploadFetch(parms);
    console.log('get/upload jpeg:', rc_upload);
  } catch(e) {
    console.log(e);
  }
};

Кроме того, убедитесь, что ваша функция Lambda настроена с разумным тайм-аутом (тайм-аут по умолчанию равен 3 секундам). ).

0 голосов
/ 25 октября 2019

Если это кому-нибудь еще поможет, изображение необходимо записать в буфер. Следующая строка исправила это:

const buffer = await image.getBufferAsync(imageType);

Тогда буфер используется для параметра S3 Body. поэтому полный сценарий:


    "use strict";

    const AWS = require("aws-sdk");
    const Jimp = require("jimp");
    const s3 = new AWS.S3();
    const imageType = "image/jpeg";
    const bucket = 'bucketxzy';

    exports.handler = async (event, context) => {
        let objectKey = 'sampleimage.jpeg';
        const image = await Jimp.read('https://www.sampleurl.com/sampleimage.jpg/');
        const buffer = await image.getBufferAsync(imageType);

        return s3.putObject({
            Bucket: bucket,
            Key: objectKey,
            Body: buffer,
            ContentType: imageType
        }).promise();


    };

0 голосов
/ 24 октября 2019

Одной из распространенных проблем в этих случаях является ошибка разрешения. Чтобы разрешить AWS Lambda для PutObject в S3, вам необходимо установить такие разрешения в роли Lambda Execution.

Вот пример политики, которая позволит Lambda делать что-либо в S3:

{
    "Version": "2012-10-17",
    "Statement": [
{
            "Effect": "Allow",
            "Action": [
                "s3:ListAllMyBuckets",
                "s3:GetBucketLocation"
            ],
            "Resource": "*"
        },
        {
            "Effect": "Allow",
            "Action": "s3:*",
            "Resource": [
                "arn:aws:s3:::ExampleBucketName",
                "arn:aws:s3:::ExampleBucketName/*"
            ]
        }
    ]
}

В целях безопасности важно ограничить действие только теми, которые вам действительно нужны, например PutObject, и вы можете получить дополнительную информацию по этой ссылке .

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...