Как использовать аудиопоток из Chrome tabCapture API и конвертировать в текст

Question

Я пытаюсь сгенерировать подписи для любого звука, который воспроизводится на вкладке ... для этого я создаю расширение Chrome, которое может захватывать звук с текущей открытой вкладки и в режиме реального времени выводить текст из аудио поток!

После некоторых исследований я обнаружил, что в chrome есть API tabCapture, который может захватывать аудиопоток с текущей вкладки ... но тогда проблема в том, как я буду непрерывно преобразовывать поток, полученный из API, в текст!

chrome.tabCapture.capture({audio: true}, (stream) => {
  let startTabId;
  chrome.tabs.query({active:true, currentWindow: true}, (tabs) => startTabId = tabs[0].id)
  const liveStream = stream;
  const audioCtx = new AudioContext();
  const source = audioCtx.createMediaStreamSource(stream);
  let mediaRecorder = new Recorder(source);

Вот как будет записываться аудио ... объект stream предположительно содержит аудиоинформацию ... Я не уверен, как использовать объект stream, чтобы иметь возможность преобразовать его в текст!

Answer 1

То, что вы просите, это механизм распознавания речи.Не существует простого способа реализации этой функции, особенно в контексте браузера.Даже не ясно, возможно ли это, учитывая современное состояние техники.

Распознавание речи - это широкая область текущих исследований;то, что вы пытаетесь сделать здесь, не является решенной проблемой.Даже крупные отраслевые силы, такие как Google, не решили эту проблему: Youtube имеет функцию, которая может автоматически генерировать подписи для видео , но , в результате заголовки ужасны .И их реализация этой функции зависит от больших усилий машинного обучения;маловероятно, что вы сможете реализовать что-либо даже такого качества в Javascript, чтобы работать в режиме реального времени в веб-браузере.