Вы не приложили весь код, но я полагаю, что вы используете размер страницы по умолчанию (A4). Принимая во внимание, что ширина страницы А4 составляет 595 пт (учитывая поля, она будет еще меньше), и вы устанавливаете ширину изображения равной 600 пт, я предполагаю, что при обработке кода вы получите следующее сообщение журнала: com.itextpdf.layout.renderer.RootRenderer WARN Element does not fit current area.
Этот недостаток области является причиной, по которой вы обрабатываете изображение неожиданным образом. Просто чтобы убедиться, измените размер документа на больший (например, A3) и убедитесь, что все обрабатывается, как и ожидалось.
Так что же обычно делает iText, когда невозможно обработать изображение в заданной области? iText автоматически масштабирует , пытаясь занять как можно больше места, но сохранить пропорции изображения. Вы сказали, что высота изображения меняется, но то же самое относится и к ширине.