Google Speech + конвейер естественного языка

Question

Я пытаюсь сделать следующее:

Я хочу создать следующий конвейер (который будет работать в облаке Google)

• У меня есть устройство: Малинаpi с микрофоном
• Я отправляю аудио из Raspberry Pi в Google ( потоковое: в режиме реального времени ),
• Транскрибируется в текст (Google Cloud Speech )
• Текст анализируется ( Google Cloud Natural Language )
• Я выполняю некоторую постобработку
• результат (обработки) возвращается Raspberry pi

Я знаю, что могу сделать запрос на распознавание речи, затем с помощью API отправить его непосредственно на Natural Language и т. Д.

Но я хотел бы знать, возможен ли такой трубопровод.Я пытался с Google DataFlow и с Google App Engine , но я не смог найти способ сделать этот тип конвейерас ними.

Спасибо

Answer 1

Если у вас есть только одно устройство, обеспечивающее голосовой ввод, простого решения, такого как это, должно быть достаточно (замените изображение на аудио и перевод / видение api на речь / естественный язык apis):

Облачное хранилище может запускать облачные функции, и в свою очередь облачная функция может использовать облачный паб / саб для запуска других облачных функций.

См. Эту ссылку дляподробности.

Answer 2

Облачные функции - это путь.Вот демонстрационное приложение, которое использует API Cloud Vision, API GMail, PubSub и CloudFunctions для создания интеллектуальной службы маркировки GMail.

Архитектурная схема

Ссылка на код: https://github.com/GoogleCloudPlatform/cloud-functions-gmail-nodejs

Ссылка на пост в блоге: https://cloud.google.com/blog/products/application-development/adding-custom-intelligence-to-gmail-with-serverless-on-gcp

В вашем случае поток архитектуры может выглядеть примерно так:
1. Отправка аудио из Raspberry Pi в корзину Cloud Storage
2. Использование функции Cloud для прослушивания изменений в корзине Cloud Storage ( Ссылка )
3. Инициировать вызов из облачной функции в Cloud Speech API для расшифровки звука
4. Используйте еще одну облачную функцию для запуска вызова NLP API
5.Выполните постобработку и запишите ее в выходной сегмент
6. Используйте облачную функцию для прослушивания выходного блока и инициируйте вызов, чтобы отправить результат обратно в Raspberry Pi.

Answer 3

Я думаю, что Google DataFlow не является правильным выбором для конвейера, который вы пытаетесь построить, в основном потому, что вы не пытаетесь построить аналитический конвейер.Я думаю, что это будет выглядеть примерно как ссылка здесь и перейдет в раздел «Бекенды IoT без сервера».Используйте облачную функцию для конвейерной обработки всей обработки, а затем верните результат обратно на ваше устройство.Также посмотрите на пример здесь .Хотя мой ответ довольно широк, но надеюсь, что он даст вам некоторое направление, чтобы попробовать.