Использование MP4box. js и обратный вызов onSegment не вызывается - PullRequest
Новая
       106

Использование MP4box. js и обратный вызов onSegment не вызывается

0 голосов
/ 09 февраля 2020

Основная проблема: отображение живого потока H264 в браузере.

Решение: давайте просто конвертируем его в фрагментированный mp4 и загружаем порцию через порцию websocket (или XHR) в MSE.

Звучит слишком просто. Но я хочу сделать фрагментацию на стороне клиента с чистым JS.

, поэтому я пытаюсь использовать MP4Box. js. На странице readme написано: у него есть демо: «Игрок, который выполняет фрагментацию на лету».

Это то, что мне нужно!

Однако обратные вызовы onSegment, которые должны кормить MSE, вообще не вызываются: 

var ws;      //for websocket
var mp4box;  //for fragmentation


function startVideo() {
  mp4box = MP4Box.createFile();

  mp4box.onError = function(e) {
    console.log("mp4box failed to parse data.");
  };

  mp4box.onMoovStart = function () {
    console.log("Starting to receive File Information");
  };

  mp4box.onReady = function(info) {
    console.log(info.mime);

    mp4box.onSegment = function (id, user, buffer, sampleNum) {
      console.log("Received segment on track "+id+" for object "+user+" with a length of "+buffer.byteLength+",sampleNum="+sampleNum);
    }

    var options = { nbSamples: 1000 };
    mp4box.setSegmentOptions(info.tracks[0].id, null, options); // I don't need user object this time
    var initSegs = mp4box.initializeSegmentation();
    mp4box.start();
  };

  ws = new WebSocket("ws://a_websocket_server_which_serves_h264_file");
  ws.binaryType = "arraybuffer";
  ws.onmessage = function (event) {
    event.data.fileStart = 0; //tried also with event.data.byteOffset, but resulted error.
    var nextBufferStart = mp4box.appendBuffer(event.data);
    mp4box.flush(); //tried commenting out - unclear documentation!
  };
} 


window.onload = function() {
  startVideo();
}

Теперь, помещая это в файл HTML, вы получите консоль JavaScript: 

Starting to receive File Information
video/mp4; codecs="avc1.4d4028"; profiles="isom,iso2,avc1,iso6,mp41"

Но потом ничего не происходит. Почему onSegment здесь не вызывается? (файл h264, который обслуживает веб-сокет-сервер, воспроизводится в VL C - однако он не фрагментирован)

1 Ответ

0 голосов
/ 09 февраля 2020

Проблема заключалась в неправильном использовании nextBufferStart .

Это должно быть правильным: 

var nextBufferStart = 0;
...
ws.onmessage = function (event) {
    event.data.fileStart = nextBufferStart;
    nextBufferStart = mp4box.appendBuffer(event.data);
    mp4box.flush();
};
...