Если вы используете PDFLatex, вы можете использовать изображения png, и в этих случаях вам обязательно следует использовать png поверх jpeg. Сжатие PNG не с потерями, поэтому вы получите лучшее качество за счет размера файла.
Вторым важным моментом является создание изображений с достаточным разрешением, для печати оно должно быть около 300-600 точек на дюйм, чем выше, тем лучше, но размер файла изображений и результирующий документ увеличатся. Для документов, которые будут просматриваться только на экране, вы можете использовать более низкое разрешение, достаточно 72-100 точек на дюйм.
Для диаграмм вы должны по возможности создавать векторную графику (eps или pdf), чтобы не потерять качество.