Поскольку вы сказали, что изображение, полученное с сервера, может быть как портретным, так и альбомным, вот что вы можете сделать, чтобы программно провести измерения.
Шаг 1. Определите, является ли изображение альбомным илипортрет
boolean landscape = false;
if(image.getHeight()>image.getWidth()){
//image is in portrait
landscape = false;
}else{
//image is in landscape
landscape = true;
}
Шаг 2. Изменение высоты и ширины соответственно
if(landscape){
imageView.setWidth(200);
imageView.setHeight(160);
}
else{
imageView.setWidth(160);
imageView.setHeight(200);
}