Question

Я хотел бы понять это.

Пользователь говорит с веб-браузером.
Веб-браузер (Google Chrome) записывает голос пользователя в виде файла WAV (Recorder) . js) и отправьте его на сервер python - flask.
Python сервер вызывает Google Cloud text в речь API и транскрибирует файл WAV.
Отправляет транскрибированное текст в веб-браузер.

Я разрабатываю это приложение локально, используя Windows 10, WSL, Debian 10 / buster, python3 .7.6 и Google Chrome.

Я реализовал шаг 1,2,3, но не 4. На шаге 2 я использовал XMLHttpRequest() для отправки файла WAV на сервер python - flask. Итак, на шаге 4 я не могу использовать return render_template() обычным способом.

Я искал «XMLHttpRequest () flask return render_template ()» и нашел решение ( Как получить ответ XMLHttpRequest? ) для использования

XMLHttpRequest.responseText в XMLHttpRequest.onreadystatechange, когда XMLHttpRequest.readyState равно XMLHttpRequest.DONE.

xhr.onreadystatechange = function() {
    if (xhr.readyState == XMLHttpRequest.DONE) {
        alert(xhr.responseText);
    }
}

Поэтому я добавил этот код в свой приложение. js, но все равно я не могу получить return render_template(). Вот результат Терминала.

127.0.0.1 - - [04/Feb/2020 16:55:58] "GET / HTTP/1.1" 200 -
['Transcript: 明日雪が降らないといいです。']
127.0.0.1 - - [04/Feb/2020 16:56:25] "POST / HTTP/1.1" 200 -

Не могли бы вы дать мне какую-либо информацию или предложение? Я знаю, что в стеке потока много подобных вопросов и ответов. Я прочитал более 10 статей и попробовал их, но я не решил своих трудностей. Подскажите, пожалуйста, как именно изменить мой код?

Заранее спасибо.

С уважением, Kazu

Моя структура каталогов здесь.

.
├── app.yaml
├── credentials.json
├── file.wav(uploaded WAV file)
├── main.py
├── Pipfile
├── Pipfile.lock
├── static
│   └── js
│       └── app.js
└── templates
    ├── index.html
    └── result.html

Это приложение. js.

//webkitURL is deprecated but nevertheless
URL = window.URL || window.webkitURL;

var gumStream;                      //stream from getUserMedia()
var rec;                            //Recorder.js object
var input;                          //MediaStreamAudioSourceNode we'll be recording

// shim for AudioContext when it's not avb. 
var AudioContext = window.AudioContext || window.webkitAudioContext;
var audioContext //audio context to help us record

var recordButton = document.getElementById("recordButton");
var stopButton = document.getElementById("stopButton");
var pauseButton = document.getElementById("pauseButton");

//add events to those 2 buttons
recordButton.addEventListener("click", startRecording);
stopButton.addEventListener("click", stopRecording);
pauseButton.addEventListener("click", pauseRecording);

function startRecording() {
    console.log("recordButton clicked");

    /*
        Simple constraints object, for more advanced audio features see
        https://addpipe.com/blog/audio-constraints-getusermedia/
    */

    var constraints = { audio: true, video:false }

    /*
        Disable the record button until we get a success or fail from getUserMedia() 
    */

    recordButton.disabled = true;
    stopButton.disabled = false;
    pauseButton.disabled = false

    /*
        We're using the standard promise based getUserMedia() 
        https://developer.mozilla.org/en-US/docs/Web/API/MediaDevices/getUserMedia
    */

    navigator.mediaDevices.getUserMedia(constraints).then(function(stream) {
        console.log("getUserMedia() success, stream created, initializing Recorder.js ...");

        /*
            create an audio context after getUserMedia is called
            sampleRate might change after getUserMedia is called, like it does on macOS when recording through AirPods
            the sampleRate defaults to the one set in your OS for your playback device

        */
        audioContext = new AudioContext();

        //update the format 
        document.getElementById("formats").innerHTML="Format: 1 channel pcm @ "+audioContext.sampleRate/1000+"kHz"

        /*  assign to gumStream for later use  */
        gumStream = stream;

        /* use the stream */
        input = audioContext.createMediaStreamSource(stream);

        /* 
            Create the Recorder object and configure to record mono sound (1 channel)
            Recording 2 channels  will double the file size
        */
        rec = new Recorder(input,{numChannels:1})

        //start the recording process
        rec.record()

        console.log("Recording started");

    }).catch(function(err) {
        //enable the record button if getUserMedia() fails
        recordButton.disabled = false;
        stopButton.disabled = true;
        pauseButton.disabled = true
    });
}

function pauseRecording(){
    console.log("pauseButton clicked rec.recording=",rec.recording );
    if (rec.recording){
        //pause
        rec.stop();
        pauseButton.innerHTML="Resume";
    }else{
        //resume
        rec.record()
        pauseButton.innerHTML="Pause";

    }
}

function stopRecording() {
    console.log("stopButton clicked");

    //disable the stop button, enable the record too allow for new recordings
    stopButton.disabled = true;
    recordButton.disabled = false;
    pauseButton.disabled = true;

    //reset button just in case the recording is stopped while paused
    pauseButton.innerHTML="Pause";

    //tell the recorder to stop the recording
    rec.stop();

    //stop microphone access
    gumStream.getAudioTracks()[0].stop();

    //create the wav blob and pass it on to createDownloadLink
    rec.exportWAV(createDownloadLink);
}

function createDownloadLink(blob) {

    var url = URL.createObjectURL(blob);
    var au = document.createElement('audio');
    var li = document.createElement('li');
    var link = document.createElement('a');

    //name of .wav file to use during upload and download (without extendion)
    var filename = new Date().toISOString();

    //add controls to the <audio> element
    au.controls = true;
    au.src = url;

    //save to disk link
    link.href = url;
    link.download = filename+".wav"; //download forces the browser to donwload the file using the  filename
    link.innerHTML = "Save to disk";

    //add the new audio element to li
    li.appendChild(au);

    //add the filename to the li
    li.appendChild(document.createTextNode(filename+".wav "))

    //add the save to disk link to li
    li.appendChild(link);

    //upload link
    var upload = document.createElement('a');
    upload.href="#";
    upload.innerHTML = "Upload";
    upload.addEventListener("click", function(event){
          var xhr=new XMLHttpRequest();
          xhr.onreadystatechange = function() {
            if (xhr.readyState == XMLHttpRequest.DONE) {
                alert(xhr.responseText);
            }
        }
          var fd=new FormData();
          fd.append("audio_data",blob, filename);
          xhr.open("POST","/",true);
          xhr.send(fd);
    })
    li.appendChild(document.createTextNode (" "))//add a space in between
    li.appendChild(upload)//add the upload link to li

    //add the li element to the ol
    recordingsList.appendChild(li);
}

Это main.py.

#!/usr/bin/env python
# -*- coding: utf-8 -*-
from flask import Flask
from flask import request
from flask import render_template
from flask import send_file
from google.cloud import speech
from google.cloud.speech import enums
from google.cloud.speech import types
import os
import io

app = Flask(__name__)

@app.route("/", methods=['POST', 'GET'])
def index():
    if request.method == "POST":
        f = open('./file.wav', 'wb')
        f.write(request.files['audio_data'].read())
        f.close()

        os.environ["GOOGLE_APPLICATION_CREDENTIALS"]="credentials.json"
        client = speech.SpeechClient()
        with io.open('./file.wav', 'rb') as audio_file:
            content = audio_file.read()

        audio = types.RecognitionAudio(content=content)
        config = types.RecognitionConfig(
            encoding=enums.RecognitionConfig.AudioEncoding.LINEAR16,
            language_code='ja-JP',
            enable_automatic_punctuation=True)
        response = client.recognize(config, audio)

        resultsentence = []
        for result in response.results:
            # The first alternative is the most likely one for this portion.
            sentence = u'Transcript: {}'.format(result.alternatives[0].transcript)
            resultsentence.append(sentence)

        print(resultsentence)

        return render_template("result.html", resultsentence=resultsentence)
    else:
        return render_template("index.html")

if __name__ == "__main__":
    app.run()

Это индекс. html.

<!DOCTYPE html>
<html>
  <head>
    <meta charset="UTF-8">
    <title>Simple Recorder.js demo with record, stop and pause - addpipe.com</title>
    <meta name="viewport" content="width=device-width, initial-scale=1.0">
  </head>
  <body>
    <h1>Simple Recorder.js demo</h1>

    <div id="controls">
     <button id="recordButton">Record</button>
     <button id="pauseButton" disabled>Pause</button>
     <button id="stopButton" disabled>Stop</button>
    </div>
    <div id="formats">Format: start recording to see sample rate</div>
    <p><strong>Recordings:</strong></p>
    <ol id="recordingsList"></ol>
    <!-- inserting these scripts at the end to be able to use all the elements in the DOM -->
    <script src="https://cdn.rawgit.com/mattdiamond/Recorderjs/08e7abd9/dist/recorder.js"></script>
    <script src="/static/js/app.js"></script>
  </body>
</html>

Это результат. html.

<!DOCTYPE html>
<html>
<body>
    {{ resultsentence }}
</body>
</html>

Caio Filus · Answer 1 · 04 февраля 2020

Это происходит из-за того, что вы изменяете, вызывая маршрут, который изменяет HTML внутри Ajax запроса (XMLHttpRequest), поэтому у вас есть два варианта, первый - это изменить HTML в ответ, как эти:

xhr.onreadystatechange = function() {
    if (xhr.readyState == XMLHttpRequest.DONE) {
        document.write(xhr.responseText);
    }
}
// or using query(its better to me)

$.ajax({
        type: "POST",
        contentType: 'application/json',
        url: "/",
        data: {audio_data: blob}
        success:function(response){
            document.write(response); 
       }
    });

другим способом является создание API, поэтому вам не нужно вызывать render_template, вам нужно только возвращать resultsentence в функции индекса (этот результат должен быть в формате dict)

@app.route("/", methods=['POST', 'GET'])
def index():
    if request.method == "POST":
        #the image logic...

        return make_response(resultsentence)
    else:
        return render_template("index.html")

таким образом вам нужно обработать ответ во внешнем интерфейсе, используя javascript

«return render_template ()» не работает [XMLHttpRequest () & flask]

Пожалуйста, войдите или зарегистрируйтесь чтобы ответить на этот вопрос.

1 Ответ

Пожалуйста, войдите или зарегистрируйтесь что бы добавить комментарий.

«return render_template ()» не работает [XMLHttpRequest () & flask]

Пожалуйста, войдите или зарегистрируйтесь чтобы ответить на этот вопрос.

1 Ответ

Пожалуйста, войдите или зарегистрируйтесь что бы добавить комментарий.

Нет похожих вопросов