Если вы возьмете ScrollView, внутри которого есть LinearLayout. Затем, добавляя в него строки, используя инфлятор для пользовательской строки и вставляя каждую строку в LinerLayout, вы издеваетесь над ListView. Это на самом деле быстрее для небольших ListViews сделать это. Внутри вашего LineraLyout установите android: animateChanges = "true", затем добавьте слушателя onClick для кнопки в каждой строке, которая удалит представление из вашего LinerLayout, вы можете получить желаемый эффект. Это все в одном из примеров на сайте Android. Если вам нужен исходный код, я могу опубликовать пример, но чтобы увидеть эффект в действии, посмотрите пример приложения, которое я опубликовал в Google Play, под названием «Мой список благодарностей», который я опубликовал, чтобы попрактиковаться в эффектах макета. Вот ссылка на приложение.