Amazon Transcribe / Lex с обратной связью во время разговора

Question

Я новичок в AWS сервисах, и мы хотим создать простую демонстрацию, которая обнаружит специальное слово и: [1] вызовет действие [2] ответов (как речь во время разговора).

Например, если пользователь говорит: «Справка», я хочу ответить «ОК» и выполнить операцию (AWS лямбда).

Мы используем Twilio, и Twilio должен транслировать звук.

Как я понимаю, у меня есть два варианта: Android Лекс и Транскрибировать, когда Лекс предназначен для ботов и транскрибировать, просто переведите речь и не можете вступать в разговор.

Так что вопросы :

1. Какие сервисы мне следует использовать для запуска действия, когда специальное слово распознается и участвует в разговоре?

2. Можно ли транслировать поток Позвонить напрямую в службу AWS через Twilio?

Редактировать

Чтобы быть более понятным: общение будет с двумя людьми в режиме реального времени, и я хочу сделать вставлять во время разговора, когда кто-то говорит «Помощь», я хочу добавить бот Voi В разговоре говорите «ОК», например: «

[Человек 1]: Привет, как дела?

[Человек 2]: ПОМОГИ ... ... 1028 *

[BOT]: ОК (как третье лицо во время телефонной конференции ..).

Answer 1

Я не до конца понимаю, что происходит с пользователем, пока он не вмешался с помощью. Они слушают бота, медиа-файл, TTS или общаются с другим человеком в режиме реального времени?

Для анализа в реальном времени вам потребуется использовать Twilio Media Streams, который передает голосовой разговор в службу, которая может затем преобразуйте речь в текст почти в реальном времени, ища ключевые слова, а затем программно выполните некоторые действия на основе этих ключевых слов.

Пример использования потоков мультимедиа Twilio с Lex:

Использование Amazon Lex в качестве диалогового интерфейса с потоками мультимедиа Twilio