API потокового преобразования текста в Google не работает в Electron-Vue - PullRequest
Новая
       18

API потокового преобразования текста в Google не работает в Electron-Vue

0 голосов
/ 04 декабря 2018

Так как это мой первый вопрос, я с радостью получу советы о том, как лучше задать вопрос.

В настоящее время я разрабатываю приложение в Electron-Vue, и мы хотим добавить Google Speech-Текстовый поток.Я могу заставить его работать для аудиофайла, но не для потока с микрофона.Вот шаги, которые необходимо предпринять, чтобы воспроизвести мою проблему. 

npm install -g vue-cli
vue init simulatedgreg/electron-vue my-project

Настройте консольный проект GCP и получите учетные данные, как описано здесь: https://cloud.google.com/speech-to-text/docs/quickstart-client-libraries

Установите и инициализируйте Cloud SDK, как описано здесь: https://cloud.google.com/sdk/docs/

Установите SoX и добавьте его в переменную PATH https://sourceforge.net/projects/sox/files/latest/download

Установите GRPC специально для целевой электронной версии.Simulatedgreg использует 2.0.14: 

npm install --runtime=electron --target=2.0.14 --disturl=https://atom.io/download/electron

Установите облачную речь Google и node-record-lpcm-16 

npm install @google-cloud/speech
npm install node-record-lpcm16

Теперь для тех, кто не может настроить API Google Speech to Text.работая на NodeJS, этот шаг важен.Перейдите в node_modules, найдите node-record-lpcm16 и откройте index.js.Измените cmdArgs следующим образом: 

var cmd = 'sox';
var cmdArgs = [
'-q',                                     // show no progress
'-t', 'waveaudio',                        // input-type
'-d',                                     // use default recording device
'-r', options.sampleRate.toString(),      // sample rate
'-c', '1',                                // channels
'-e', 'signed-integer',                   // sample encoding
'-b', '16',                               // precision (bits)
'-t', 'raw',                              // output-type
'-'                                       // pipe
];

Поместите файл credentials.json, созданный с помощью API, в папку проекта.

И, наконец, сам код Vue: 

<template>
  <div id="wrapper">
          <button @click="record">Test</button>
  </div>
</template>

<script>
  export default {
    name: 'landing-page',
    methods: {
      record(){
          this.version = process.versions.electron;
          const record = require('node-record-lpcm16');

// Imports the Google Cloud client library
          const speech = require('@google-cloud/speech');

// Creates a client
          const client = new speech.SpeechClient({
              keyFilename: './credentials.json'
          });

          const encoding = 'LINEAR16';
          const sampleRateHertz = 16000;
          const languageCode = 'nl-NL';

          const request = {
              config: {
                  encoding: encoding,
                  sampleRateHertz: sampleRateHertz,
                  languageCode: languageCode,
              },
              interimResults: false, // If you want interim results, set this to true
          };

// Create a recognize stream
          const recognizeStream = client
              .streamingRecognize(request)
              .on('error', console.error)
              .on('data', data =>
                  process.stdout.write(
                      data.results[0] && data.results[0].alternatives[0]
                          ? `Transcription: ${data.results[0].alternatives[0].transcript}\n`
                          : `\n\nReached transcription time limit, press Ctrl+C\n`
                  )
              );

// Start recording and send the microphone input to the Speech API
          record
              .start({
                  sampleRateHertz: sampleRateHertz,
                  threshold: 0,
                  // Other options, see https://www.npmjs.com/package/node-record-lpcm16#options
                  verbose: false,
                  recordProgram: 'sox', // Try also "arecord" or "sox"
                  silence: '10.0',
              })
              .on('error', console.error)
              .pipe(recognizeStream);

          console.log('Listening, press Ctrl+C to stop.');
      }
    }
  }
</script>

Я понимаю, что, поскольку я заставил это работать в самом NodeJS, я мог бы использовать отдельный сервер NodeJS, связанный с приложением электронов, и обмениваться данными через веб-сокет, но я хочу сделать его максимально простым для конечного пользователя.Заранее спасибо.

...