Вы можете решить эту проблему двумя способами.
1) если вы можете позволить себе эффект возврата, просто используйте физику свойств ListView.builder и установите значение BouncingScrollPhysics ().
физика: BouncingScrollPhysics (),
2) вы также можете решить, используя ScrollConfiguration и костюм ScrollBehavior.
в деталях