для изменения «размера» вы можете использовать следующую строку:
LiveJob.OutputFormat.VideoProfile.Streams[0].Size = new Size(1280,1080)
Или как хотите.
Encoder также предлагает страницу настроек, которую вы можете использовать.
Это то, что я сделал, и после настройки выходного размера вы можете сделать это:
currentJob.OutputFormat.VideoProfile.Streams[0].Size = ((LiveSource)LiveDeviceSource).CropRect.Size;
Только 1 небольшое ограничение, вы не можете изменить размер во время записи, если публикуете источник.