По многим запросам узел JS зависает и обещания не выполняются, особенно при низкой пропускной способности - PullRequest
Новая
       54

По многим запросам узел JS зависает и обещания не выполняются, особенно при низкой пропускной способности

0 голосов
/ 27 мая 2019

Конкретный код - множественный запрос в узле зависания цикла, особенно при соединении с низкой пропускной способностью. 

const baseRequest = request.defaults();
const specialRequest = baseRequest.defaults( {
    agent : false //// MUCH better but still errors sometimes happened (on high bandwidth connection - 1mB/s)
    //agent : false, pool : {maxSockets: 100} //// WORKS! - no errors on high bandwidth 1mB/s //// ERRORS - on low 50kB/s(down) 10kB/s(up) bandwidth connection - but moust of the requests are corectly served
    //agent : false, pool : {maxSockets: 500} //// ERRORS on high bandwidth 1mB/s //// ERRORS - on low 50kB/s(down) 10kB/s(up) bandwidth connection
    //agent : false, pool : {maxSockets: 500}, timeout : 5000 //// ERRORS on high bandwidth 1mB/s //// ERRORS - on low 50kB/s(down) 10kB/s(up) bandwidth connection
});

process.env.UV_THREADPOOL_SIZE = 128;

// promises array to store mutations (data)
var urlDataPromiseArray = [];
var sizeDataPromiseArray = [];

// here is the function (request) to grab the data:
function getData(url, i) {
    return new Promise(function (resolve) {
        var serverWork = 'serverWork/dataSave_' + i + '_.txt';
        var fs_cws_serverWork = fs.createWriteStream(serverWork, 'utf8');

        var requestData = specialRequest({url : url}, function(err, resp, data) {
            if (err || resp.statusCode >= 400) {
                if (err) {
                    console.log('something goes bad! - ' + err + ' --- ' + i);
                    sizeDataPromiseArray.push(getSize(i, 0));
                    return resolve(i + ' bad');
                }
                else {
                    console.log('something goes bad! - ' + i);
                    sizeDataPromiseArray.push(getSize(i, 0));
                    return resolve(i + ' bad');
                }
            }
            else if (!err && resp.statusCode === 200) {
                var dataLength = data.length;
                console.log('ok! - ' + i + ' - ' + dataLength);
                sizeDataPromiseArray.push(getSize(i, dataLength));
                return resolve(i + ' good - ' + dataLength);
            }
            else {
                console.log('need to check - ' + i);
                sizeDataPromiseArray.push(getSize(i, 0));
                return resolve(i + ' shit happens');
            }
        }).pipe(fs_cws_serverWork);
    })
}

// another function to calculate size of downloaded data
function getSize(i, size) {
    return new Promise(function(resolve) {
        resolve({
            [i]: size
        });
    });
}

// here we prepare the loop:
var loop = 1000;
for (var i = 0; i < loop; i++) {
    urlDataPromiseArray.push(getData('https://www.google.com', i));
    sizeDataPromiseArray.push(getSize(i, 0));
}

Promise.all(urlDataPromiseArray).then(function(url) {
    console.log();
    console.log('===============');
    console.log('===============');
    console.log('===============');
    console.log();
}).then(function() {
    return Promise.all(sizeDataPromiseArray).then(function(size) {
        size.forEach(function(item) {
            for (var key in item) {
                var value = item[key];
                console.log('--------');
                console.log(value + ' - size of request number: ' + key);
                console.log('--------');
            };
        });
    });
}).catch(function(err) {
    console.log('ERROR: ' + err);
});

console.log();
console.log('===============');
console.log('loop is finished - now we wait for async work to be done');
console.log('===============');
console.log();

ОШИБКИ, которые я получаю:

розетка повесить трубку

читать ECONNRESET

подключить ETIMEDOUT IP: ПОРТ

ETIMEDOUT

ESOCKETTIMEDOUT

Когда я устанавливаю agent : false, это НАМНОГО лучше, но все же ошибки иногда случаются при соединении с высокой пропускной способностью - 1 мБ / с, и есть много ошибок при соединении с НИЗКОЙ полосой пропускания [50 кБ / с (вниз), 10 кБ / с (вверх)] лайк: - socket hang up и read ECONNRESET, а также и все connect ETIMEDOUT IP:PORT И -> обещания не работают <- </p>

Когда я установил agent : false, pool : {maxSockets: 100}, он РАБОТАЕТ - никаких ошибок на ВЫСОКОЙ полосе пропускания 1 мБ / с, НО ОШИБКИ - на НИЗКОМ соединении полосы пропускания 50 кБ / с (вниз), 10 КБ / с (вверх) (но он работает лучше, чем с ' agent: false 'only - большинство запросов обслуживаются в основном) как: - socket hang up и read ECONNRESET НО обещания решаются!

Когда я установил agent : false, pool : {maxSockets: 500}, он РАБОТАЕТ - никаких ошибок на ВЫСОКОЙ полосе пропускания 1 мБ / с, НО ОШИБКИ - на НИЗКОМ 50 КБ / с (вниз) 10 КБ / с (вверх) подключении к полосе пропускания (на самом деле это намного хуже, чем в пуле) : {maxSockets: 100} 'опция) как: - в основном socket hang up, но также read ECONNRESET, а обещания и 'connect ETIMEDOUT IP: PORT' AND -> не будут выполнены <- </p>

Когда я установил agent : false, pool : {maxSockets: 500}, timeout : 5000 - есть ошибки в HIGH bandwidth (1mB / s) - в LOW 50kB / s (down) 10kB / s (up) ошибки подключения пропускной способности выглядят так: - многие ESOCKETTIMEDOUT и многие ETIMEDOUT НО обещания разрешаются правильно

Итак, я хочу обещать, что ВСЕГДА правильно решу. Все запросы должны быть обслужены БЫСТРО (потому что несколько клиентов подключаются к серверу), но они МОГУТ передавать ошибки - мне просто нужно, чтобы они были быстрыми - при низкой пропускной способности, могут передаваться только ошибки, но клиент должен знать, что это является причиной низкой пропускной способности сервера и должен получить этот ответ как можно скорее.

agent : false, pool : {maxSockets: 100} - это очень хорошо работает на высокой пропускной способности (все хорошо, обещания проходят)

agent : false, pool : {maxSockets: 500}, timeout : 5000 - это лучше всего работает при низкой пропускной способности (быстрые ошибки, обещания разрешаются)

Как объединить их, чтобы они отлично работали на высокой пропускной способности и на низкой - последняя часть принята, как описано выше (ошибки) - но, возможно, я ничего не могу сделать лучше - и почему обещания не работают?

ПОХОЖИЕ ТЕМЫ:

...