Используйте ScaleType в ImageView и убедитесь, что родительский макет для адаптера (LinearLayout, RelativeLayout ..) имеет android: layout_height = "wrap_content" .
<ImageView
android:id="@+id/image"
android:layout_width="wrap_content"
android:layout_height="wrap_content"
android:scaleType="center"
android:src="@drawable/my_image" />