Попробуйте предоставить атрибуты listView следующим образом:
<ListView android:id="@+id/list"
android:layout_width="fillparent"
android:layout_height="40dip"/>
Это заставит ваш просмотр списка занимать только высоту, указанную в атрибуте высоты, и с которой вы можете получить прокрутку только за 40 пикселей.