Технически можно использовать любой из них, но вы с большей вероятностью увидите, что jpeg используется в дикой природе. Поскольку стеганография - это, по сути, внесение дефектов в изображение, чтобы скрыть сообщение, дефекты будут менее заметны в формате с потерями, в то время как при наличии растровых изображений в растровом изображении более вероятно заметить несоответствие.
Ваш вопрос о потерях применим только в том случае, если кто-то пытается восстановить изображение. Например, если я открою ваше изображение с секретным сообщением, скрытым в нем в фотошопе, а затем сохраню его обратно в формате JPEG, изображение, скорее всего, изменится и уничтожит ваше сообщение. Это не так при отправке файла по электронной почте или через Интернет (за исключением случая, когда некоторые интернет-провайдеры реализуют сжатие jpeg для ускорения просмотра при более медленных соединениях, таких как dialup).