Частичный ответ в Node.js на Heroku - PullRequest
Новая
       14

Частичный ответ в Node.js на Heroku

0 голосов
/ 14 января 2019

У меня есть очень простой код Node.js, который я хочу выдавать в виде фрагментированных ответов. Код: 

const WAIT = 500;
const records = [...];

function getList(req, res, url) {
    var list = records.slice().map(rec => JSON.stringify(rec) + "\n");
    var len = list.reduce((size, cur) => { size += Buffer.byteLength(cur); return size; }, 0);

    function next() {
        var cur = list.shift();
        if(!cur) {
            res.end();
            return;
        }

        res.write(cur);

        setTimeout(next, WAIT);
    }

    res.writeHead(200, {
        "Access-Control-Allow-Origin": "*",
        "Content-Type": "application/x-ndjson",
        "Content-Length": len.toString(),
        "X-Accel-Buffering": "no"
    });

    setTimeout(next, WAIT);
}

const PORT = process.env.PORT || 8080;
require("http").createServer(getList).listen(PORT);

Это должно записать эти данные как куски ndjson, пока массив не будет очищен.

Локально и в обычном VPS это работает как положено. На Heroku он не генерирует чанки потоковым способом, а скорее выкидывает их все в конце.

Кто-нибудь имеет представление о том, что я могу делать неправильно?

1 Ответ

0 голосов
/ 22 января 2019

После раздела комментариев - установка заголовка Transfer-Encoding: Chunked явно решила эту проблему. Digital Ocean может делать что-то умное с чанкингом, хотя вам нужно явно указать это в Heroku.

Документация по заголовку: https://developer.mozilla.org/en-US/docs/Web/HTTP/Headers/Transfer-Encoding

Другая потенциальная проблема, по которой это может происходить в вашей системе: https://github.com/expressjs/compression/issues/56 (Если вы используете более старую версию expressjs - очистка ответа содержала ошибку)

...