Многократный запрос на скачивание.из S3 SignUrl с использованием Node.js

Question

Я создал около 500 подписанных URL-адресов объектов, расположенных в S3.Теперь, когда я пытаюсь загрузить эти объекты из подписанного URL-адреса в цикле

await Promise.all(signedUrls.map(async (url) => {
    const val = await request(url, (error, response) => {
        if (!error) {
            console.log('Downloaded successfully');
        } else {
            console.log('error in downloading', error.message);
        }
    });
}));

, я получаю эту ошибку для некоторых URL-адресов.

Ошибка при загрузке getaddrinfo ENOTFOUND s3.amazonaws.com s3.amazonaws.com:443

Я знаю, что все подписанные URL-адреса созданы правильно, и я проверил их по отдельности, но подозреваю, что в S3 существует проблема с загрузкой файлов.

Необходимо проверить, есть ли ограничения на S3 для запроса слишком большого количества файлов.

Answer 1

S3 не имеет практического ограничения на количество загрузок или количество одновременных загрузок.Теоретически, должен быть предел, потому что у них есть конечное количество оборудования в центрах обработки данных AWS, но этот предел настолько высок, что на практике вы не можете его достичь.