Убедитесь, что реализован BaseAdapter.getViewTypeCount (), который должен возвращать счетчик для числа различных типов представлений, которые ваш listView должен иметь для своих записей.
А также реализуйте ListAdapter.getItemViewType (int position), чтобы возвращать int, который идентифицирует конкретное представление и тип его представления.
Следуя приведенным выше двум рекомендациям, вы убедитесь, что ваш ListView будет работоспособен, и он будет гарантировать, что ваш метод getView (...) вызывается с соответствующим типом представления, если он уже существует.
Тем не менее, если у вас есть несколько фиксированных номеров в вашем списке, и они все разные, то рассмотрите возможность использования LinearLayout в ScrollView.