Многочисленные http-звонки в foreach с помощью nodejs

Question

Как я могу выполнить много запросов в foreach без ошибок, пожалуйста?

В настоящее время я отправляю запрос на каждую запись в моем массиве с помощью foreach:

users.forEach(function (user) {
    request({
        url   : 'myurl.com/api',
        method: 'POST',
        auth  : {
            'bearer': CONFIGURATION.auth.token
        },
        body  : {
            sender_id: user.sender_id
        },
        json  : true
    }, function (error, response, body) {
        if (!error && response.statusCode === 200) {
            resolve(body);
        } else {
            console.log('Error on coreService');

            console.log('############### ERROR ###############');
            console.log(error);
            console.log('############### BODY ###############');
            console.log(body);
            console.log('############### RESPONSE ###############');
            console.log(response);

            reject(error);
        }
    });
});

С некоторым запросом все в порядке, но с некоторым запросом у меня появляется эта ошибка:

Error on coreService
############### ERROR ###############
{ Error: connect ECONNRESET 127.0.0.1:80
    at Object._errnoException (util.js:1022:11)
    at _exceptionWithHostPort (util.js:1044:20)
    at TCPConnectWrap.afterConnect [as oncomplete] (net.js:1198:14)
  code: 'ECONNRESET',
  errno: 'ECONNRESET',
  syscall: 'connect',
  address: '127.0.0.1',
  port: 80 }
############### BODY ###############
undefined
############### RESPONSE ###############
undefined

У вас есть идея, как я могу решить эту проблему, пожалуйста?

Я пытался с:

server.timeout = 0;

или

server.timeout = 1000;

но та же проблема ...

Если я выполню запрос, пользователь за пользователем, это нормально! Но с foreach он прерывается по какой-то просьбе ...

Answer 1

В комментариях colinux предлагает, чтобы ошибки сброса соединения были связаны с тем, что сервер защищал себя от слишком большого количества одновременных запросов, и я думаю, что они, вероятно, являются правильными. Этот код показывает, как вы можете использовать async / await для отправки запросов на сервер по одному. Это может быть слишком медленным для вас, но это может помочь вам подтвердить, что проблема в том, что объясняет colinux.

Вот еще один ответ, который не требует использования запроса-обещания-родного и вместо этого оборачивает вызовы запроса в свое собственное Обещание.

const request = require('request');
const users = [{sender_id: 1}, {sender_id: 2}, {sender_id: 3}];

// make this driver function async so we can use await which allows waiting for
// a request to finish before starting the next one

async function runUserRequests() {
    for (let i = 0; i < users.length; i++) {
        const user = users[i];
        try {
            const response = await requestPromise(user);
            console.log("response for user", user, response);
        } catch (error) {
            console.log("error for user", user, error);
        }
    };
}

// wrap the request call in a Promise so that it will run synchronously
function requestPromise(user) {
    return new Promise(function(resolve, reject) {
        request({
            url: 'http://localhost:4000/',
            method: 'GET', // method 'POST'
            // auth  : {
            //     'bearer': CONFIGURATION.auth.token
            // },
            // body  : {
            //     sender_id: user.sender_id
            // },
            // json  : true
        }, function (error, response, body) {
            if (!error && response.statusCode === 200) {
                resolve(body);
                console.log("request successful for user", user, " at ", (new Date()).getTime());
            } else {
                console.log('Error on coreService');

                console.log('############### ERROR ###############');
                console.log(error);
                console.log('############### BODY ###############');
                console.log(body);
                console.log('############### RESPONSE ###############');
                console.log(response);

                reject(error);
            }
        });
    });
}

runUserRequests();

/* 
Sample server used to test the code above:

const express = require('express')
const app = express()
const port = 4000

app.get('/', (req, res) => {
    console.log("spinning for a bit");
    setTimeout( () =>  {
        console.log("  now responding");
        res.send('Hello World!');
    }, 1000);
});

app.listen(port, () => console.log(`Example app listening on port ${port}!`))

*/

Answer 2

В комментариях colinux предлагает, чтобы ошибки сброса соединения были связаны с тем, что сервер защищал себя от слишком большого количества одновременных запросов, и я думаю, что они, вероятно, являются правильными. Этот код показывает, как вы можете использовать async / await для отправки запросов на сервер по одному. Это может быть слишком медленным для вас, но это может помочь вам подтвердить, что проблема в том, что объясняет colinux.

Чтобы это работало, вам нужно установить request-обещание-native. Если вы не можете этого сделать, дайте мне знать, и я смогу привести пример обёртывания api запроса в вашем Promise.

const request = require('request-promise-native');
//const users = [1, 2, 3, 4]; // dummy user array for testing
async function runUserRequests(users) {
    for (let i = 0; i < users.length; i++) {
        const user = users[i];
        console.log("starting request for user ", user);
        await request({
            url: 'http://localhost:4000/',
            method: 'GET',
            auth  : {
                 'bearer': CONFIGURATION.auth.token
            },
            body  : {
                sender_id: user.sender_id
            },
            json  : true
        }, function (error, response, body) {
            if (!error && response.statusCode === 200) {
                console.log("request successful for user", user, " at ", (new Date()).getTime());
                resolve(body);
            } else {
                console.log('Error on coreService');

                console.log('############### ERROR ###############');
                console.log(error);
                console.log('############### BODY ###############');
                console.log(body);
                console.log('############### RESPONSE ###############');
                console.log(response);

                reject(error);
            }
        });
    };
}

runUserRequests();