JS AzureSDK создает пользовательскую функцию для захвата речи, отображения текстовых результатов и уровня достоверности результатов - PullRequest
Новая
       19

JS AzureSDK создает пользовательскую функцию для захвата речи, отображения текстовых результатов и уровня достоверности результатов

0 голосов
/ 15 октября 2019

Мне нужно создать простую функцию javascript для захвата ввода, а затем вернуть текст с процентом уверенности, используя AzureSDK.

Моя самая большая проблема - я новичок в кодировании, и это самая трудная проблемаЯ столкнулся, поэтому, пожалуйста, будьте добры к этому скромному ученику.

Я создаю веб-приложение для изучения языка с помощью голосового ввода. Мне удалось заставить службы Google работать так, как я хотел, но, к сожалению, эти службы не работают в Китае, где находится мой рынок. Я также использую API-интерфейс Phaser 3 для создания этого приложения.

Мне удалось получить пример кода, предоставленного в git, для работы JavaScript в текстовом JavaScript для работы с AzureSDK, но когда я пытаюсь создать свою собственную функцию с помощьюКод, который я получаю: Uncaught TypeError: Невозможно прочитать свойство 'SpeechConfig' с неопределенным значением

. Я также не знаю, как добавить уровень достоверности для результата речи. 

recordButton.on('pointerdown', function() {
        var SDK =  window.SpeechSDK;
        try {
        AudioContext = window.AudioContext // our preferred impl
            || window.webkitAudioContext   // fallback, mostly for Safari
            || false;                      // could not find.
        if (AudioContext) {
            soundContext = new AudioContext();
          console.log("AudioContext", AudioContext);
        } else {
            alert("Audio context not supported");
        }
        }
        catch (e) {
         console.log("no sound context found, no audio output. " + e);
        }

        console.log("SpeechSDK initialized", SDK);

        speechConfig = 
          SpeechSDK.SpeechConfig.fromSubscription(subscriptionKey, 
           serviceRegion);

        speechConfig.speechRecognitionLanguage = "en-US";
        console.log("speechConfig", SpeechConfig);      

        audioConfig  = SpeechSDK.AudioConfig.fromDefaultMicrophoneInput();
        recognizer = new SpeechSDK.SpeechRecognizer(speechConfig, 
           audioConfig);
        recognizer.recognizeOnceAsync(
        function (result) {
          console.log("result", result); 
          recognizer.close();
          recognizer = undefined;
        },
        function (err) {
          console.log(err);
          recognizer.close();
          recognizer = undefined;
        });
}, this);

Мне нужно захватитьречевой ввод, затем покажите слова / фразы / предложения, сказанные студентами, и оцените их на основе уровня достоверности.

1 Ответ

0 голосов
/ 15 октября 2019

Если вы хотите получить достоверную оценку текстового значения, которое вы получаете от речи к текстовому SDK, попробуйте следующий код: 

   <html>
    <head>
       <title>Speech SDK JavaScript Quickstart</title>
    </head>
    <script src="microsoft.cognitiveservices.speech.sdk.bundle.js"></script>

<body>
 <div id="warning">
  <h1 style="font-weight:500;">Speech Recognition Speech SDK not found (microsoft.cognitiveservices.speech.sdk.bundle.js missing).</h1>
</div>

<div id="content" style="display:none">
  <table width="100%">
    <tr>
      <td></td>
      <td><h1 style="font-weight:500;">Microsoft Cognitive Services Speech SDK JavaScript Quickstart</h1></td>
    </tr>
    <tr>
      <td align="right"><a href="https://docs.microsoft.com/azure/cognitive-services/speech-service/get-started" target="_blank">Subscription</a>:</td>
      <td><input id="subscriptionKey" type="text" size="40" value="subscription"></td>
    </tr>
    <tr>
      <td align="right">Region</td>
      <td><input id="serviceRegion" type="text" size="40" value="YourServiceRegion"></td>
    </tr>
    <tr>
      <td></td>
      <td><button id="startRecognizeOnceAsyncButton">Start recognition</button></td>
    </tr>
    <tr>
      <td align="right" valign="top">Results</td>
      <td><textarea id="phraseDiv" style="display: inline-block;width:500px;height:200px"></textarea></td>
    </tr>
  </table>
</div>
</body>



<!-- Speech SDK USAGE -->
<script>
  // status fields and start button in UI
  var phraseDiv;
  var startRecognizeOnceAsyncButton;

  // subscription key and region for speech services.
  var subscriptionKey, serviceRegion;
  var authorizationToken;
  var SpeechSDK;
  var recognizer;

  document.addEventListener("DOMContentLoaded", function () {
    startRecognizeOnceAsyncButton = document.getElementById("startRecognizeOnceAsyncButton");
    subscriptionKey = document.getElementById("subscriptionKey");
    serviceRegion = document.getElementById("serviceRegion");
    phraseDiv = document.getElementById("phraseDiv");

    startRecognizeOnceAsyncButton.addEventListener("click", function () {
      startRecognizeOnceAsyncButton.disabled = true;
      phraseDiv.innerHTML = "";

      // if we got an authorization token, use the token. Otherwise use the provided subscription key
      var speechConfig;
      if (authorizationToken) {
        speechConfig = SpeechSDK.SpeechConfig.fromAuthorizationToken(authorizationToken, serviceRegion.value);
      } else {
        if (subscriptionKey.value === "" || subscriptionKey.value === "subscription") {
          alert("Please enter your Microsoft Cognitive Services Speech subscription key!");
          return;
        }
        speechConfig = SpeechSDK.SpeechConfig.fromSubscription(subscriptionKey.value, serviceRegion.value);
      }

      speechConfig.speechRecognitionLanguage = "en-US";
      speechConfig.outputFormat=1;
      var audioConfig  = SpeechSDK.AudioConfig.fromDefaultMicrophoneInput();
      recognizer = new SpeechSDK.SpeechRecognizer(speechConfig, audioConfig);

      recognizer.recognizeOnceAsync(
        function (result) {
          startRecognizeOnceAsyncButton.disabled = false;
          phraseDiv.innerHTML += "Recognize Result:"+ result.text + "\nConfidence Score:" + JSON.parse(result.json).NBest[0].Confidence;

          window.console.log(result);

          recognizer.close();
          recognizer = undefined;
        },
        function (err) {
          startRecognizeOnceAsyncButton.disabled = false;
          phraseDiv.innerHTML += err;
          window.console.log(err);

          recognizer.close();
          recognizer = undefined;
        });
    });

    if (!!window.SpeechSDK) {
      SpeechSDK = window.SpeechSDK;
      startRecognizeOnceAsyncButton.disabled = false;

      document.getElementById('content').style.display = 'block';
      document.getElementById('warning').style.display = 'none';

      // in case we have a function for getting an authorization token, call it.
      if (typeof RequestAuthorizationToken === "function") {
          RequestAuthorizationToken();
      }
    }
  });
</script>
</html>

Запустите страницу так же, как официальный документ указано. Одним словом, когда вы используете SDK, вы должны настроить speechConfig.outputFormat=1, чтобы вы могли получить подробный формат службы речи, который включает в себя достоверное значение оценки.

Результат: enter image description here

В вашем коде кажется, что неопределенная ошибка связана с тем, что вы хотите напечатать SpeechConfig, но этот параметр определен как speechConfig...

В любом случае, для того, чтобы демо-версия была успешной, мой код основан на официальном демо. Надеюсь, это поможет .

Для своего кода, попробуйте html ниже: 

<html>

<body>

<button id='recordButton' onclick = 'test()'>test </button>
</body>

<script src="microsoft.cognitiveservices.speech.sdk.bundle.js"></script>
<script>

function test(){
        var SDK =  window.SpeechSDK;
        try {
        AudioContext = window.AudioContext // our preferred impl
            || window.webkitAudioContext   // fallback, mostly for Safari
            || false;                      // could not find.
        if (AudioContext) {
            soundContext = new AudioContext();
          console.log("AudioContext", AudioContext);
        } else {
            alert("Audio context not supported");
        }
        }
        catch (e) {
         console.log("no sound context found, no audio output. " + e);
        }

        console.log("SpeechSDK initialized", SDK);

        var speechConfig = 
          SpeechSDK.SpeechConfig.fromSubscription("<your subscription key>", 
           "<your service region>");

        speechConfig.speechRecognitionLanguage = "en-US";
        console.log("speechConfig", speechConfig);      

        audioConfig  = SpeechSDK.AudioConfig.fromDefaultMicrophoneInput();
        recognizer = new SpeechSDK.SpeechRecognizer(speechConfig, 
           audioConfig);
        recognizer.recognizeOnceAsync(
        function (result) {
          console.log("result", result); 
          recognizer.close();
          recognizer = undefined;
        },
        function (err) {
          console.log(err);
          recognizer.close();
          recognizer = undefined;
        });
}

</script>
</html>

Результат: как вы можете видеть, результат был зарегистрирован:

enter image description here

Если мой ответ полезен, нажмите на флажок рядом с ответом, чтобы поменять его с серого на заполненный, чтобы отметить этот ответ, спасибо!

...