Транскодирование h264 будет сложной задачей. Для X264 не так много оболочек для .Net.
После того, как у вас есть способ кодирования, вам все равно придется пакетировать данные, чтобы заставить их работать по Rtp, что Rtsp использует для отправки мультимедиа каждому клиенту. Это означает, что данные должны быть помещены в RtpPackets правильным образом, который определяется в этом случае RFC http://tools.ietf.org/html/rfc6184
У меня есть RtspClient и RtspServer в c #, которые могут получить отдельные пакеты, чтобы вы могли передать их в декодер.
Здесь также есть статья для проекта codeproject.
http://www.codeproject.com/Articles/507218/Managed-Media-Aggregation-using-Rtsp-and-Rtp
VLC - это еще один вариант, так как он может выполнять транскодирование и предоставлять вам поток Rtsp для одновременного использования клиентами.
Ознакомьтесь с документацией VLC http://www.videolan.org/doc/streaming-howto/en/ch05.html
Если вам нужно что-нибудь еще, дайте мне знать!