Google Speech / NAudio имеет большую задержку, если динамик находится далеко от микрофона - PullRequest
Новая
       53

Google Speech / NAudio имеет большую задержку, если динамик находится далеко от микрофона

2 голосов
/ 03 апреля 2019

Я делаю речь в текст с помощью Google Speech API и NAudio (с классом NAudio WaveInEvent).Например: https://cloud.google.com/speech-to-text/docs/streaming-recognize?hl=en (пример C # для "Выполнения распознавания потоковой речи на аудиопотоке")

Если говорящий человек находится близко к микрофону, все работает хорошо и быстро.Но если говорящий находится далеко от микрофона, его первые 3-5 слов не распознаются.После этого другие слова узнаются очень хорошо.(Так что это не может быть общей проблемой с расстоянием) Больше похоже на проблему с адаптацией к расстоянию или, может быть, NAudio не записывает со 100% громкостью.

Есть идеи по этой проблеме?

Изменить: Вот код, который был запрошен: 

static async Task<object> StreamingMicRecognizeAsync(int seconds)
{
    if (NAudio.Wave.WaveIn.DeviceCount < 1)
    {
        Console.WriteLine("No microphone!");
        return -1;
    }
    var speech = SpeechClient.Create();
    var streamingCall = speech.StreamingRecognize();
    // Write the initial request with the config.
    await streamingCall.WriteAsync(
        new StreamingRecognizeRequest()
        {
            StreamingConfig = new StreamingRecognitionConfig()
            {
                Config = new RecognitionConfig()
                {
                    Encoding =
                    RecognitionConfig.Types.AudioEncoding.Linear16,
                    SampleRateHertz = 16000,
                    LanguageCode = "en",
                },
                InterimResults = true,
            }
        });
    // Print responses as they arrive.
    Task printResponses = Task.Run(async () =>
    {
        while (await streamingCall.ResponseStream.MoveNext(
            default(CancellationToken)))
        {
            foreach (var result in streamingCall.ResponseStream
                .Current.Results)
            {
                foreach (var alternative in result.Alternatives)
                {
                    Console.WriteLine(alternative.Transcript);
                }
            }
        }
    });
    // Read from the microphone and stream to API.
    object writeLock = new object();
    bool writeMore = true;
    var waveIn = new NAudio.Wave.WaveInEvent();
    waveIn.DeviceNumber = 0;
    waveIn.WaveFormat = new NAudio.Wave.WaveFormat(16000, 1);
    waveIn.DataAvailable +=
        (object sender, NAudio.Wave.WaveInEventArgs args) =>
        {
            lock (writeLock)
            {
                if (!writeMore) return;
                streamingCall.WriteAsync(
                    new StreamingRecognizeRequest()
                    {
                        AudioContent = Google.Protobuf.ByteString
                            .CopyFrom(args.Buffer, 0, args.BytesRecorded)
                    }).Wait();
            }
        };
    waveIn.StartRecording();
    Console.WriteLine("Speak now.");
    await Task.Delay(TimeSpan.FromSeconds(seconds));
    // Stop recording and shut down.
    waveIn.StopRecording();
    lock (writeLock) writeMore = false;
    await streamingCall.WriteCompleteAsync();
    await printResponses;
    return 0;
}

Источник: https://cloud.google.com/speech-to-text/docs/streaming-recognize?hl=en

Ответы [ 2 ]

0 голосов
/ 29 апреля 2019

Cloud Speech API имеет передовой опыт для оптимальной работы, включая:

Распознаватель предназначен для игнорирования фоновых голосов и шума без дополнительного шумоподавления.Однако для достижения оптимальных результатов расположите микрофон как можно ближе к пользователю, особенно при наличии фонового шума.

0 голосов
/ 13 апреля 2019

Да, вот как все работает. Двигатели используют адаптацию к уровням звука, если уровни слишком низкие, они просто пропустят первые слова и начнут распознавание только после адаптации. Точность будет ниже ожидаемой.

Чтобы решить эту проблему - используйте более продвинутый массив микрофонов, который будет отслеживать источник звука, такой как Respeaker или Matrix, и, возможно, используйте собственную систему распознавания речи, которая более устойчива к быстрым изменениям уровня звука. Это будет дешевле, чем Google API.

...