У вас есть пара вариантов. Вероятно, лучшим из доступных кодеров является x264, но он не имеет интерфейса C #. Вам нужно определить вызовы взаимодействия в стиле C, чтобы использовать его из программы на C #.
Другой вариант - SDK-кодировщик выражений MSFT, который поддерживает H264. Я не уверен, сколько это стоит. Кроме того, есть несколько других реализаций кодировщика, таких как Mainconcept и Dicas, которые могут иметь интерфейсы C #, но они будут стоить вам.
Последний вариант - использовать DirectShow.NET и этот фильтр для кодирования с использованием directshow. Вы должны быть в состоянии сделать все из C #, и это через COM-взаимодействие, так что интерфейс немного чище.
Наконец, почти все кодировщики работают в цветовом пространстве YUV, поэтому вам, вероятно, потребуется что-то для преобразования ваших изображений RGB - x264 и фильтр Monogram оба работают на YV12.