Google Meet: WebRT C peer-to-peer и речь в текст - PullRequest
Новая
       4

Google Meet: WebRT C peer-to-peer и речь в текст

0 голосов
/ 27 марта 2020

Я был на собрании в Google Meet и увидел, что вы можете включить субтитры в реальном времени. На самом деле у них есть демоверсия здесь о том, как в реальном времени может быть сделана речь на тексте, так что меня это не смущает.

Я также хотел поэкспериментировать с WebRT C (который, я полагаю, использует GoogleMeet), просто чтобы увидеть его возможности - например, возможность делиться экраном без дополнительных экранов.

Однако у меня всегда было впечатление, что видео / аудио поток WebRT C является одноранговым клиентом. Поэтому у меня есть следующие вопросы:

  • Как тогда Google может отправлять аудиопоток на сервер для анализа?
  • Можно ли отправить аудиопоток как клиенту, так и серверу?
  • Нужно ли создавать два одинаковых аудиопотока (я не знаю, является ли это даже возможно), отправить один через WebRTC другому партнеру (ам), а другой - на сервер для анализа?

Как они этого добиваются - и если они не используют WebRT C Возможно ли добиться этого с помощью WebRT C?

1 Ответ

1 голос
/ 27 марта 2020

Google Meet использует WebRT C. «Пир» в этом случае - сервер, а не браузер. Хотя шесть лет и некоторые детали изменились, большая часть этой старой статьи все еще верна. С сервера Google может выполнять обработку звука.

Это видео описывает архитектуру, необходимую для преобразования речи в текст (и фактически для перевода + преобразования текста в речь).

...