Как уменьшить звук, записанный с микрофона в реальном времени в JavaScript? - PullRequest
Новая
       94

Как уменьшить звук, записанный с микрофона в реальном времени в JavaScript?

0 голосов
/ 15 октября 2018

Я использую следующий javascript для записи аудио и отправки его на сервер веб-сокетов: 

const recordAudio = () =>
    new Promise(async resolve => {

        const constraints = {
            audio: {
                sampleSize: 16,
                channelCount: 1,
                sampleRate: 8000
            },
            video: false
        };

        var mediaRecorder;
        const stream = await navigator.mediaDevices.getUserMedia(constraints);

        var options = {
            audioBitsPerSecond: 128000,
            mimeType: 'audio/webm;codecs=pcm'
        };
        mediaRecorder = new MediaRecorder(stream, options);
        var track = stream.getAudioTracks()[0];
        var constraints2 = track.getConstraints();
        var settings = track.getSettings();


        const audioChunks = [];

        mediaRecorder.addEventListener("dataavailable", event => {
            audioChunks.push(event.data);
            webSocket.send(event.data);
        });

        const start = () => mediaRecorder.start(30);

        const stop = () =>
            new Promise(resolve => {
                mediaRecorder.addEventListener("stop", () => {
                    const audioBlob = new Blob(audioChunks);
                    const audioUrl = URL.createObjectURL(audioBlob);


        const audio = new Audio(audioUrl);
                const play = () => audio.play();
                resolve({
                    audioBlob,
                    audioUrl,
                    play
                });
            });

            mediaRecorder.stop();
        });

    resolve({
        start,
        stop
    });
});

Это для STT в реальном времени, и сервер веб-сокетов отказался отправлять какие-либо ответы.Отладкой я проверил, что sampleRate не меняется на 8 кГц. При исследовании я обнаружил, что это известная ошибка как в chrome, так и в firefox.Я нашел некоторые другие ресурсы, такие как stackoverflow1 и IBM_STT , но я понятия не имею, как адаптировать его к моему коду.Вышеупомянутые полезные ресурсы относятся к буферу, но все, что у меня есть, это mediaStream (поток) и event.data (blob) в моем коде.Я новичок в javascript и Audio Api, поэтому, пожалуйста, извините, если я сделал что-то не так.

Если это поможет, у меня есть эквивалентный код Python для отправки данных с микрофона на сервер websocket, который работает.Используемая библиотека = Pyaudio.Код: 

 p = pyaudio.PyAudio()
 stream = p.open(format="pyaudio.paInt16",
                        channels=1,
                        rate= 8000,
                        input=True,
                        frames_per_buffer=10)

 print("* recording, please speak")

 packet_size = int((30/1000)*8000)  # normally 240 packets or 480 bytes

 frames = []

        #while True:
 for i in range(0, 1000):
     packet = stream.read(packet_size)
     ws.send(packet, binary=True)

1 Ответ

0 голосов
/ 18 октября 2018

Чтобы выполнить понижающую дискретизацию в реальном времени, выполните следующие действия:

  1. Сначала получите экземпляр потока, используя это: 

    const stream = await navigator.mediaDevices.getUserMedia(constraints);

  2. Создайте источник медиапотока изэтот поток. 

    var input = audioContext.createMediaStreamSource(stream);

  3. Создайте обработчик сценариев, чтобы вы могли играть с буферами.Я собираюсь создать скрипт-процессор, который будет непрерывно отбирать 4096 сэмплов из потока, имеет 1 входной канал и 1 выходной канал. 

    var scriptNode = audioContext.createScriptProcessor(4096, 1, 1);

  4. Соедините ваш вход с помощью scriptNode,Вы можете подключить узел сценария к месту назначения согласно вашему требованию. 

        input.connect(scriptNode);
    scriptNode.connect(audioContext.destination);

  5. Теперь в scriptProcessor есть функция onaudioprocess, где вы можете делать все, что захотите, с 4096 выборками.var downsample будет содержать (1 / коэффициент выборки) количество пакетов.floatTo16BitPCM преобразует это в нужный вам формат, поскольку исходные данные находятся в 32-битном формате с плавающей запятой.

       var inputBuffer = audioProcessingEvent.inputBuffer;
    // The output buffer contains the samples that will be modified and played
    var outputBuffer = audioProcessingEvent.outputBuffer;

    // Loop through the output channels (in this case there is only one)
    for (var channel = 0; channel < outputBuffer.numberOfChannels; channel++) {
        var inputData = inputBuffer.getChannelData(channel);
        var outputData = outputBuffer.getChannelData(channel);



        var downsampled = downsample(inputData);
        var sixteenBitBuffer = floatTo16BitPCM(downsampled);
      }

  6. Ваш шестнадцатьBitBuffer будет содержать необходимые данные.

    Функции понижающей дискретизации и floatTo16BitPCM описаны в этой ссылке API Watson: IBM Watson Speech to Text Api

Вам не понадобится MediaRecorderпример.Watson API с открытым исходным кодом, и вы можете найти более рациональный подход к тому, как они реализовали его для своего варианта использования.Вы должны быть в состоянии спасти важные функции из их кода.

...