Google и другие активно работают над добавлением WebRTC в качестве стандартизированного веб-API для ведения однорангового чата.
Для VNC вы можете проверить noVNC , который является клиентом VNC HTML5 (Canvas, WebSockets).(Отказ от ответственности: я сделал noVNC)
Обновление:
Вы можете использовать данные видео и холста в качестве текстур в WebGL, и я ожидаю, что это будет верно для данных WebRTCтакже.У Mozilla есть учебник Анимация текстур в WebGL о рисовании видео из видео-тега в WebGL.Тот же механизм можно использовать для холста (например, noVNC).