1) Еще немного уточнений, пожалуйста ...
Но:
Вот что я использовал в прошлом для получения несжатых или минимально сжатых изображений: PNG с небольшим сжатием или без сжатия , Попробуйте установить очень ограниченный диапазон 'q', например -qmin 1 -qmax 2, отрегулируйте другие параметры следующим образом.
Используйте формат, который вообще не имеет сжатия и способен отображать пиксель за пикселем. Установка диапазона 'q' на низкое и плотное дает более качественные изображения с большим размером файла.
Другая возможность - установить -gop на что-то вроде 1.
Если вы хотите сжатие и хотите знать лучше код c для этого, некоторые могут быть лучше, чем другие, но все будут полагаться на вас, устанавливая параметры кодирования.