потоковое аудио с микрофона через веб-сокет.Я вижу отправляемые данные, но не слышу их на принимающей стороне клиента. - PullRequest
Новая
       23

потоковое аудио с микрофона через веб-сокет.Я вижу отправляемые данные, но не слышу их на принимающей стороне клиента.

0 голосов
/ 07 июля 2019

Я пытаюсь транслировать захваченное микрофонное аудио через сетевую розетку.Я вижу, что буферный массив отправляется, и массив содержит действительные действительные данные, но принимающая клиентская сторона не может их услышать.Я уверен, что моя функция воспроизведения правильная, потому что я могу генерировать белый шум, заполняя массив случайными числами и используя функцию воспроизведения, чтобы услышать его.Я думаю, что звук, который он передает, слишком тихий, чтобы его слышать, потому что числа, сгенерированные в массиве, в основном находятся в диапазоне .000 ###.Есть идеи?Захватывать звук с микрофона и транслировать его кажется слишком сложным ...: / 

 //broadcasting side 
  navigator.mediaDevices.getUserMedia({audio: true,video: false}) // request cam
        .then(stream => {
         vid.srcObject = stream;
         context = new AudioContext();
         var source = context.createMediaStreamSource(stream);
         var processor = context.createScriptProcessor(1024, 2, 2);
         source.connect(processor);
         processor.connect(context.destination);

         processor.onaudioprocess = function(e) {
           audiodata = e.inputBuffer.getChannelData(1);
          socket.send(JSON.stringify({sound: audiodata, to: to, from: '$username', text:''}));
         };
         return vid.play(); // returns a Promise
       });



//receiving side object to array 

       if(typeof (message.sound) != "undefined"){
         //$('#video_stream_btn').trigger('click');
          var json_sound = message.sound;
          var array_sound = [];
          for(var i in json_sound){
            array_sound.push([i, json_sound [i]]);
          }
         if(typeof(context) == 'undefined'){
           context = new AudioContext();
         }
         play_sound(array_sound, context);
         return;
       }


// receiving side play sound function 

    function play_sound(raw,context){

        //alert(raw.length);
        var audioBuffer = context.createBuffer(1, raw.length, context.sampleRate);
        audioBuffer.getChannelData(0).set(raw);
        var source = context.createBufferSource();
        source.buffer = audioBuffer;
        source.connect(context.destination);
        source.start(0);

    }

1 Ответ

0 голосов
/ 08 июля 2019

Для тех, кто пытается это понять.Я закончил кодировать его в массив int16array, затем отправил его через сокет, где клиент закодировал его обратно в массив float32 и передал его функции play_sound.Я просто украл кучу вещей из stackoverflow и подделал их, пока не сделал, потому что я не настолько умен:)

захват микрофона и преобразование в int16array, а затем отправка его через сокет 

 navigator.mediaDevices.getUserMedia({audio: {sampleSize: 16, channelCount: 2},video: true}) // request cam
        .then(stream => {
         vid.srcObject = stream; // don't use createObjectURL(MediaStream)
         context = new AudioContext();
         var source = context.createMediaStreamSource(stream);
         var processor = context.createScriptProcessor(1024, 2, 2);
         source.connect(processor);
         processor.connect(context.destination);

         processor.onaudioprocess = function(e) {
          // Do something with the data, i.e Convert this to WAV
          audiodata = new Int16Array(convertFloat32ToInt16(e.inputBuffer.getChannelData(0)));
          console.log(audiodata);
          socket.send(JSON.stringify({sound: audiodata, to: to, from: '$username', text:''}));

         };
         return vid.play(); // returns a Promise
       });

соответствующая функция для преобразования захваченного микрофона в int16array: 

function convertFloat32ToInt16(buffer){
          l = buffer.length;
          buf = new Int16Array(l);

      while (l--)
      {
         buf[l] = Math.min(1, buffer[l])*0x7FFF;
      }

      return buf.buffer;

  }

получение объекта json на стороне клиента в int16array, затем int16array обратно в float32array: 

if(typeof (message.sound) != "undefined"){
         //$('#video_stream_btn').trigger('click');
          //var json_sound = message.sound;


         if(typeof(context) == 'undefined'){
           context = new AudioContext();
         }
         sound_array = [];
         for (i in message.sound)
         {
            sound_array[i] = (message.sound [i]);
         }

        //sound_array16 = new Int16Array(sound_array);
        sound_array32 = int16ToFloat32(sound_array);
         play_sound(sound_array32, context);
         return;
       }

соответствующая принимающая сторона int16arrayto float32array функция: 


    function int16ToFloat32(inputArray) {

        let int16arr = new Int16Array(inputArray)
        var output = new Float32Array(int16arr.length);
        for (var i = 0; i < int16arr.length; i++) {
            var int = int16arr[i];
            var float = (int >= 0x8000) ? -(0x10000 - int) / 0x8000 : int / 0x7FFF;
            output[i] = float;
        }
        return output;
    }
...