Как уже предлагалось, попробуйте установить более высокий уровень качества в кодере JPEG.
Другой вариант, если вам абсолютно не нужен JPG, - вместо этого использовать PNGEncoder, который без потерь. Для фотографических изображений JPG обычно дает меньшие файлы, но PNG может работать очень хорошо.