Интересный вопрос. Я думал сделать что-то подобное сам когда-то. Я не вижу проблем с мобильным сервером, поскольку вы всегда можете написать собственное приложение TCP на мобильном устройстве и подключить его к прокси-приложению на ПК, которое будет выполнять роль сервера VLC.
Проблема в API камеры. Сообщение в блоге, предложенное Мэттом, является лучшим источником информации, который вы можете получить. К сожалению, не все реализации драйверов поддерживают полную спецификацию DirectShow. Это означает, что даже если вы поднимитесь по действительно крутой кривой обучения DirectShow, вы можете обнаружить, что ваше устройство не очень хорошо с ним работает.
Я предлагаю вам начать исследование с драйвера камеры устройства под рукой. Будет сложно или невозможно построить что-то, что будет работать на всех устройствах.