Как интегрировать речь в текст с ботом на основе QnA Maker? - PullRequest
0 голосов
/ 17 октября 2018

Я разработал FAQ бот с использованием C # и Bot Builder SDK 3.15.3.У нас есть большой набор пар вопросов и ответов, которые загружаются в службу QNA Maker.Я включил канал Direct Line, и бот отображается на веб-странице.Я использовал элемент управления веб-чата, предоставленный Microsoft, с некоторыми изменениями и настройками.

Теперь я хочу включить голосовое взаимодействие с ботом, для этого я решил использовать Microsoft Speech to Text Cognitive Service.

Что я хочу сделать, так это то, что когда пользователь произносит какое-либо высказывание, я хочу отправить это высказывание в свой бот-сервис, аналогично тому, как отправляется текст.Затем внутри кода C # я хочу запустить Speech to Text, а затем выполнить проверку орфографии для полученного текста и, наконец, отправить его в QNA Maker Service.Ответ на данный момент будет отображаться только в виде текста, но он также может прочитать ответ для пользователя.

Пожалуйста, объясните, как это возможно, как после просмотра CognitiveService.js и других статей о включении речи, Я заметил, что элемент управления веб-чата напрямую отправляет голосовой ввод в речь в текстовую службу.

1 Ответ

0 голосов
/ 30 октября 2018

Вы можете создать гибрид между вызывающим ботом, который использует речь в текст, и ботом QnA для достижения вашей цели.Для вызывающего бота посмотрите образец SimpleIVRbot , чтобы начать работу.Для QnAMaker вы можете ссылаться на SimpleQnABot .Не нужно слишком много работы, чтобы соединить их в единого объединенного бота.Только обязательно удалите дублирующийся код и объедините файлы, где это необходимо.

Надеюсь на помощь!

...